Universal Portfolio, Kelly i DRL: co najnowsze badania naprawdę wnoszą do inżynierii ilościowej

Najważniejszy wniosek

W ostatnich pięciu latach najciekawszy rozwój idei Thomasa M. Covera nie polega na prostym zastępowaniu Universal Portfolio przez deep learning. Znacznie bardziej użyteczne są trzy kierunki: efektywna optymalizacja online, wykorzystanie celu wzrostu logarytmicznego jako sprawdzalnego benchmarku dla uczenia ze wzmocnieniem oraz włączanie kosztów i wpływu rynkowego do samego projektu eksperymentu.71411

To ważne rozróżnienie: obecna literatura dostarcza silnych argumentów za wartością badawczą tych metod, ale nie dowodzi, że formuła „Universal Portfolio + DRL” daje już stabilną, łatwo replikowalną przewagę po kosztach w realnym obrocie.71411

Universal Portfolio, Kelly i DRL nie są tym samym

Twierdzenie Covera porównuje strategię uniwersalną z najlepszym, wybranym dopiero po fakcie portfelem o stałych wagach, okresowo rebalansowanym. Jego uniwersalność jest model-free: nie wymaga założenia konkretnego procesu stochastycznego dla rynku.8

Kryterium Kelly’ego, czyli inwestowanie wzrostowo optymalne, maksymalizuje oczekiwany logarytm bogactwa. W nowszych pracach o DRL ten cel jest używany bezpośrednio jako funkcja użyteczności lub nagroda.14 Nie oznacza to jednak automatycznie, że algorytm DRL dziedziczy gwarancję uniwersalności Covera.

Przyjmijmy, że $x_t$ oznacza wektor relatywnych zmian cen aktywów, a $w_t$ — wagi portfela. Bez kosztów transakcyjnych bogactwo ewoluuje jako:

$$
W_T = W_0 \prod_{t=1}^{T} w_t^\top x_t.
$$

Ujemny logarytm wzrostu można zapisać jako stratę online:

$$
\ell_t(w) = -\log(w^\top x_t).
$$

Jeżeli $W_T^\star$ jest bogactwem najlepszego stałego portfela wybranego po fakcie, to różnica skumulowanych strat wynosi:

$$
R_T = \sum_{t=1}^{T}\ell_t(w_t) - \min_{w\in\Delta_d}\sum_{t=1}^{T}\ell_t(w)
= \log\frac{W_T^\star}{W_T}.
$$

To wspólny język dla trzech obszarów: online convex optimization (OCO) analizuje różnicę względem najlepszego stałego portfela, inwestowanie wzrostowo optymalne formułuje cel ekonomiczny, a DRL może być narzędziem do wyznaczania polityki dynamicznej.7814

1. VB-FTRL: najbardziej bezpośredni rozwój Universal Portfolio

Praca Efficient and Near-Optimal Online Portfolio Selection przedstawia algorytm VB-FTRL (Volumetric-Barrier enhanced Follow-The-Regularized-Leader).7 To jeden z najważniejszych współczesnych kierunków dla problemu zdefiniowanego przez Covera.

Autorzy deklarują gwarancję żalu zasadniczo zbliżoną do Universal Portfolio — z zastąpieniem $\log(T)$ przez $\log(T+d)$ — przy istotnie mniejszym koszcie obliczeniowym. Raportowana złożoność na rundę wynosi:

$$
\widetilde{O}(d^2(T+d)).
$$

7

Dlaczego ma to znaczenie dla praktyki?

Klasyczne Universal Portfolio wymaga ważenia kontinuum portfeli stałowagowych ich historycznym bogactwem. To piękna konstrukcja teoretyczna, lecz trudna obliczeniowo. VB-FTRL przesuwa problem w stronę algorytmu o wyraźnej strukturze optymalizacyjnej i analizie złożoności.7

Najbardziej naturalne zastosowania inżynierskie to:

• alokacja kapitału między strategie systematyczne;
• dynamiczna alokacja między klasami aktywów, sektorami lub czynnikami;
• benchmark dla bardziej złożonych modeli predykcyjnych i RL;
• warstwa alokacji nad istniejącymi sygnałami, zamiast jednoczesnego uczenia sygnału, pozycji, dźwigni i egzekucji.

Ważne zastrzeżenie: poprawa złożoności teoretycznej nie jest równoznaczna z gotowością do zastosowań wysokiej częstotliwości. Należy osobno zbadać opóźnienia, zużycie pamięci, stabilność numeryczną, liczbę aktywów oraz sposób obsługi kosztów transakcyjnych.

2. Kelly jako test jakości dla DRL

Praca Evaluation of Deep Reinforcement Learning Algorithms for Portfolio Optimisation wykorzystuje kryterium Kelly’ego, czyli użyteczność logarytmiczną, do oceny algorytmów DRL na danych symulowanych.14

Jej szczególna wartość polega na tym, że w scenariuszu bez wpływu rynkowego autorzy mogą analitycznie wyprowadzić optymalną politykę. Taka polityka staje się punktem odniesienia — swoistym górnym limitem — dla eksperymentów uwzględniających wpływ zleceń na rynek.14

To rozwiązuje częsty problem badań nad RL w finansach: bez znanego rozwiązania trudno rozstrzygnąć, czy agent rzeczywiście nauczył się dobrej decyzji, czy jedynie wykorzystuje błąd środowiska, ukrytą dźwignię albo pominięte koszty.

W badaniu algorytmy off-policy, takie jak DDPG, TD3 i SAC, miały trudność z nauczeniem właściwej funkcji Q przy zaszumionych nagrodach. Algorytmy on-policy — PPO i A2C, z generalized advantage estimation — lepiej radziły sobie z tym problemem.14

Lekcja dla zespołów quant

Zanim model DRL zostanie przetestowany na historycznych danych rynkowych, warto najpierw potwierdzić, że w kontrolowanym środowisku:

1. funkcja nagrody jest poprawnie zaimplementowana;
2. kolejność obserwacji, decyzji i transakcji nie wprowadza przecieku danych;
3. agent potrafi zbliżyć się do znanego rozwiązania analitycznego;
4. wynik nie zależy wyłącznie od arbitralnych ustawień kosztów lub dźwigni.

Dopiero potem wynik z backtestu ma sens interpretacyjny. Symulacyjna skuteczność nie jest dowodem rentowności na rzeczywistym rynku.14

3. High-order Universal Portfolios: strategia jako aktywo

Praca High order universal portfolios bada rozszerzenie klasycznej konstrukcji Covera: Universal Portfolio zostaje dodany do rynku jako nowe, syntetyczne aktywo, a następnie budowane są portfele wyższego rzędu.16

Autorzy wskazują, że takie konstrukcje różnią się od oryginalnego Universal Portfolio i mogą przełamać niezmienniczość względem permutacji czasu.16

Z perspektywy praktycznej inspiruje to architekturę typu „strategie jako aktywa”. Zamiast rozdzielać kapitał wyłącznie między akcje lub kontrakty, można rozdzielać go między strumienie zwrotów pochodzące z trend following, mean reversion, arbitrażu czy innych strategii.

Nie wolno jednak traktować wyników poszczególnych backtestów jak aktywów handlowanych bez tarcia. Portfel strategii powinien uwzględniać:

• koszty wewnętrzne każdej strategii;
• nakładające się ekspozycje i możliwość kompensacji zleceń;
• finansowanie, wymogi depozytowe i limity płynności;
• koszty rebalansowania na poziomie całej warstwy alokacji.

4. Koszty transakcyjne mogą zmienić zwycięzcę

Praca o realistycznym modelowaniu wpływu rynkowego w RL pokazuje, że model kosztów wpływa zarówno na bezwzględne wyniki, jak i na względny ranking algorytmów.11

W jednym z raportowanych przykładów zoptymalizowany PPO osiągał najlepszy wynik out-of-sample w modelu bazowym, lecz jego rezultat spadał po zastosowaniu modelu Almgren–Chriss, podczas gdy TD3 poprawiał relatywną pozycję.11

To nie jest bezpośrednie rozszerzenie teorii Covera. Jest jednak kluczowym testem dla każdej strategii wzrostowo optymalnej lub sterowanej przez RL: przewaga w backteście może wynikać z korzystnego dla danego algorytmu modelu kosztów, a nie z lepszej decyzji inwestycyjnej.

Dlatego badanie powinno rozdzielać co najmniej trzy warstwy:

• środowisko bez kosztów — sprawdzenie zgodności z teorią i poprawności implementacji;
• koszt jawny — analiza wrażliwości na obrót;
• wpływ rynkowy i ograniczenia wykonania — test realnej handlowalności wraz ze wzrostem skali.

Odjęcie na końcu stałej prowizji od końcowej krzywej kapitału nie zastępuje takiej analizy.

Jak zapisać nagrodę wzrostową po kosztach

Jeżeli $c_t$ oznacza koszt obrotu jako część bogactwa przed transakcją, uproszczony model samofinansowania można zapisać jako:

$$
W_t = W_{t-1}(1-c_t)w_t^\top x_t,
\qquad 0\leq c_t<1.
$$

Wtedy nagroda netto w modelu DRL wynosi:

$$
r_t = \log(w_t^\top x_t)+\log(1-c_t).
$$

Jeżeli koszt zależy od wielkości obrotu, punktem wyjścia powinna być rzeczywista waga po ruchu cen, a przed kolejnym rebalansowaniem:

$$
\widetilde{w}{t-1,i} =
\frac{w{t-1,i}x_{t-1,i}}
{w_{t-1}^\top x_{t-1}}.
$$

Pozwala to uniknąć utożsamiania zmiany wag docelowych z faktycznie zrealizowanym obrotem. Nadal jest to jednak model uproszczony: nie pokrywa automatycznie wpływu rynkowego, pożyczania papierów, finansowania, limitów udziału w wolumenie ani dyskretności realizacji.

Materiały techniczne i ograniczenia dowodów

Jako materiał wdrożeniowy można potraktować opracowanie NYU Stern Online Quantitative Trading Strategies, które omawia przybliżenie Universal Portfolio metodą Monte Carlo ze względu na ograniczenia obliczeniowe.10

W obszarze Kelly’ego przydatnym punktem wyjścia jest także problem risk-constrained Kelly. Pokazuje on, że ograniczenie ryzyka obsunięcia można zastąpić ograniczeniem wypukłym, uzyskując rozwiązanie z gwarancją spełnienia określonego warunku ryzyka obsunięcia.13

Trzeba jednak zachować hierarchię jakości dowodów:

• analiza teoretyczna nie jest dowodem gotowości produkcyjnej;
• wyniki symulacyjne nie są dowodem przewagi rynkowej;
• materiał edukacyjny lub blog techniczny nie zastępuje audytu kodu i niezależnej replikacji;
• deklarowany wynik backtestu nie jest dowodem skalowalności po kosztach i ograniczeniach pojemności rynku.

Co warto badać dalej

Najbardziej produktywny projekt badawczy nie musi brzmieć: „czy DRL pokona Universal Portfolio?”. Lepsze pytanie brzmi:

Czy, przy identycznych danych, kosztach i ograniczeniach ryzyka, DRL wnosi wartość ponad online’owy benchmark wzrostowy — a jeśli tak, to czy źródłem tej wartości jest informacja o stanie rynku, dynamika wielookresowa czy tylko konstrukcja środowiska?

Dobry plan eksperymentalny obejmuje:

1. implementację rekurencji bogactwa i benchmarku najlepszego stałowagowego portfela;
2. test w środowisku Kelly’ego z rozwiązaniem analitycznym;
3. porównanie prostych wag, przybliżenia UP, VB-FTRL i DRL przy tych samych ograniczeniach;
4. rygorystyczny test poza próbą;
5. analizę wrażliwości na koszty, opóźnienie, obrót, płynność i awarie strategii składowych.

To podejście jest bardziej wiarygodne niż trenowanie od razu złożonego agenta end-to-end. Teoria Covera i Kelly’ego dostarcza tu nie tyle gotowej „maszyny do alfa”, ile bardzo wartościowych narzędzi do budowy benchmarków, definiowania celu oraz wykrywania błędów w badaniach ilościowych.

Źródła

7 Efficient and Near-Optimal Online Portfolio Selection — VB-FTRL, gwarancje żalu i złożoność obliczeniowa.
8 Cover's universal portfolio, stochastic portfolio theory and the numeraire portfolio — klasyczne znaczenie uniwersalności i porównania z najlepszym portfelem stałowagowym.
10 Online Quantitative Trading Strategies — przybliżenie Universal Portfolio metodą Monte Carlo.
11 Realistic Market Impact Modeling for Reinforcement Learning — wpływ modelu kosztów na wyniki i ranking metod RL.
13 Risk-Constrained Kelly Gambling — wypukłe ograniczenie ryzyka obsunięcia dla problemu Kelly’ego.
14 Evaluation of Deep Reinforcement Learning Algorithms for Portfolio Optimisation — Kelly, benchmark analityczny i ocena DRL w symulacji.
16 High order universal portfolios — syntetyczne aktywo Universal Portfolio i konstrukcje wyższego rzędu.

7: https://arxiv.org/pdf/2209.13932v2
8: https://arxiv.org/html/1611.09631v1
10: https://www.stern.nyu.edu/sites/default/files/2025-05/Glucksman_Lahanis.pdf
11: https://arxiv.org/html/2603.29086v1
13: https://stanford.edu/~boyd/papers/kelly.html
14: https://arxiv.org/pdf/2307.07694
16: https://arxiv.org/abs/2311.13564