Universal Portfolio, růstově optimální investování a DRL: co je dnes opravdu použitelné

Coverův Universal Portfolio a růstově optimální investování podle Kellyho kritéria se v moderním kvantitativním výzkumu nevracejí hlavně jako „další deep-learningový model“. Jejich nejzajímavější využití je praktičtější: jako matematicky čistý základ pro online alokaci kapitálu, jako kontrolní benchmark pro algoritmy posilovaného učení (DRL) a jako způsob, jak oddělit kvalitu investičního rozhodování od zkreslení backtestu.71411

Nejdůležitější závěr je střízlivý: dostupné práce ukazují silnou výzkumnou a inženýrskou hodnotu těchto přístupů, ale samy o sobě nedokládají, že spojení Universal Portfolio a DRL už vede ke stabilně replikovatelnému nadvýnosu po započtení skutečných nákladů a kapacitních limitů.71411

Nejdřív rozlišení pojmů: Universal Portfolio není Kelly ani DRL

Coverovo Universal Portfolio porovnává online strategii s nejlepším konstantně rebalancovaným portfoliem vybraným až zpětně. Jeho „univerzálnost“ znamená, že dlouhodobá vlastnost není postavena na předem zvoleném stochastickém modelu trhu.8

Kellyho, respektive růstově optimální přístup, maximalizuje očekávaný logaritmický růst bohatství. Moderní DRL studie tento cíl používají přímo, ale použití logaritmické odměny neznamená, že se na model automaticky přenáší Coverova teoretická garance.148

Při cenových relativních výnosech $x_t$ a vahách portfolia $w_t$ lze bez nákladů psát bohatství jako:

$$
W_T = W_0 \prod_{t=1}^{T} w_t^\top x_t.
$$

Záporný logaritmický výnos pak tvoří přirozenou online ztrátu:

$$
\ell_t(w) = -\log(w^\top x_t).
$$

Rozdíl vůči zpětně nejlepší fixní alokaci $W_T^\star$ lze vyjádřit jako regret:

$$
R_T = \sum_{t=1}^{T}\ell_t(w_t)

• \min_{w\in\Delta_d}\sum_{t=1}^{T}\ell_t(w)
  = \log\frac{W_T^\star}{W_T}.
  $$

Právě zde se protínají tři oblasti: online konvexní optimalizace (OCO) sleduje kumulativní ztrátu vůči fixnímu benchmarku, růstově optimální investování pracuje s logaritmickým růstem bohatství a DRL může hledat dynamickou politiku. Sdílejí matematickou strukturu, nikoli však automaticky stejné záruky.7814

Nejpodstatnější přímý posun: VB-FTRL pro online výběr portfolia

Práce Efficient and Near-Optimal Online Portfolio Selection od Rémiho Jézéquela, Dmitrije M. Ostrovského a Pierra Gaillarda představuje algoritmus VB-FTRL. Ten míří přímo na problém, který řešil Cover: jak online alokovat kapitál mezi aktiva a zároveň se dlouhodobě přiblížit nejlepší fixní rebalancované alokaci zvolené až zpětně.7

Autoři uvádějí regret záruku v zásadě srovnatelnou s Universal Portfolio, až na konstantní faktor a nahrazení $\log(T)$ výrazem $\log(T+d)$. Zároveň deklarují výrazně nižší výpočetní náročnost, s dobou běhu na jedno kolo $\widetilde{O}(d^2(T+d))$.7

Proč je to důležité pro kvantitativní vývoj

Původní Universal Portfolio vyžaduje agregovat kontinuum konstantních portfolií vážených jejich historickou výkonností. To je elegantní teoreticky, ale výpočetně nepohodlné. VB-FTRL posouvá problém k explicitnímu online optimalizačnímu algoritmu s analyzovanou složitostí.7

V praxi je proto rozumné chápat jej jako výzkumný základ pro:

• dynamickou alokaci mezi třídami aktiv,
• rozdělování kapitálu mezi několik hotových obchodních strategií,
• online úpravu vah sektorových, faktorových či tržně neutrálních knih.

To ovšem není důkaz připravenosti pro vysokofrekvenční produkční obchodování. Teoretická složitost neřeší sama o sobě latenci, paměťové nároky, numerickou stabilitu, limity likvidity ani model skutečných nákladů.7

DRL a Kellyho kritérium: největší přínos je ověřitelnost

Studie Evaluation of Deep Reinforcement Learning Algorithms for Portfolio Optimisation testuje DRL metody v simulovaném prostředí, kde je cílem Kellyho logaritmický užitek. Bez tržního dopadu autoři dokážou analyticky odvodit optimální politiku; ta pak slouží jako referenční horní mez při rozšíření prostředí o tržní dopad.14

To je mimořádně užitečné pro vývojáře kvantitativních systémů. Nejde jen o otázku, zda agent vygeneruje atraktivní křivku equity, ale zda se v prostředí, kde známe správnou odpověď, dokáže naučit správné rozhodování.14

Studie uvádí, že off-policy algoritmy DDPG, TD3 a SAC v daném nastavení narážely na problém s učením správné Q-funkce kvůli šumovým odměnám, zatímco PPO a A2C s generalizovaným odhadem výhody se s tímto problémem dokázaly vyrovnat lépe.14

Co z toho plyne pro praxi

Před nasazením DRL na historická data je vhodné ověřit alespoň tři věci:

1. zda je správně definována odměna;
2. zda odpovídá časování obchodů, pozorování a realizace výnosu;
3. zda agent funguje v prostředí s analyticky známým řešením.

Bez těchto kontrol může být dobrý backtest důsledkem chyby prostředí, úniku informací, implicitní páky nebo opomenutých nákladů, nikoli skutečné schopnosti modelu.14

Vyšší řády Universal Portfolio: strategie jako investovatelná aktiva

Práce High order universal portfolios rozšiřuje Coverovu konstrukci tak, že již vytvořené Universal Portfolio přidá do trhu jako nové syntetické aktivum a nad rozšířeným trhem znovu konstruuje univerzální portfolio.16

Autoři ukazují, že takto vzniklá portfolia se od původního Coverova UP skutečně liší a mohou narušit jeho invarianci vůči permutaci času.16

Z pohledu kvantitativní praxe je to inspirace pro architekturu „strategie jako aktiva“:

• trend-following, mean reversion, arbitráž či jiné podsystémy lze chápat jako zdroje návratností;
• nad nimi lze provozovat samostatnou vrstvu alokace kapitálu;
• tato vrstva se testuje vedle jednoduchých pravidel, například fixních vah či rovnoměrného rozdělení kapitálu.

Přenos do reálného obchodování ale vyžaduje velkou disciplínu. Výnos každé dílčí strategie musí již zahrnovat její interní transakční náklady. Nadřazená vrstva pak musí řešit překryv pozic, netto obchodování, maržové požadavky a likviditu. Nestačí spojit několik hezkých backtestů a považovat je za beznákladová aktiva.16

Tržní dopad není detail: může změnit vítěze backtestu

Práce o realističtějším modelování tržního dopadu v DRL ukazuje, že volba nákladového modelu ovlivňuje nejen absolutní výsledek, ale i relativní pořadí algoritmů napříč testovanými prostředími.11

V jedné z uvedených ukázek měl optimalizovaný PPO mimo vzorek při základním modelu 20% výnos a Sharpeho poměr 1,06, zatímco při modelu Almgren–Chriss výnos klesl na 15 %. TD3 ve stejném srovnání naopak vzrostl z 15 % na 18 %.11

Tato práce není přímým pokračováním Coverovy teorie, ale pro její praktickou interpretaci je zásadní. Naznačuje alternativní vysvětlení řady výsledků: strategie může vypadat lepší ne proto, že přesněji rozhoduje o trhu, ale proto, že zvolený model nákladů zvýhodňuje její frekvenci obchodování či styl exekuce.11

Jak navrhnout věrohodný výzkumný program

Nejlepší postup není začít end-to-end obchodním agentem. Robustnější je postupovat po vrstvách:

1. Zreprodukovat benchmarky – implementovat vývoj bohatství, nejlepší fixní rebalancované portfolio a simulované Kellyho prostředí se známým analytickým řešením.
2. Porovnat metody za stejných podmínek – jednoduché fixní váhy, aproximaci Universal Portfolio, VB-FTRL a DRL musí vidět stejná data, mít stejné limity a stejný nákladový model.714
3. Teprve potom testovat obchodovatelnost – přísné out-of-sample období, kontrola úniku dat, správné časování, citlivost na náklady, kapacita a scénáře selhání.

Pro nákladově citlivou růstovou odměnu lze v jednoduchém samofinancovaném modelu použít:

$$
W_t = W_{t-1}(1-c_t)w_t^\top x_t,
\qquad 0\leq c_t<1,
$$

kde $c_t$ je podíl nákladů na bohatství před obchodem. Odpovídající čistá logaritmická odměna je:

$$
r_t = \log(w_t^\top x_t) + \log(1-c_t).
$$

Jestliže náklad závisí na objemu obchodu, je třeba vycházet z reálných vah po pohybu cen, nikoli jen z rozdílu cílových vah. Bez mezilehlých obchodů platí:

$$
\widetilde{w}{t-1,i} =
\frac{w{t-1,i}x_{t-1,i}}
{w_{t-1}^\top x_{t-1}}.
$$

Ani tento model však automaticky nepokrývá skluz, tržní dopad, financování, short borrow ani diskrétnost exekuce.

Co je dnes nejcennější výzkumná otázka

Nejde primárně o otázku, zda „deep learning porazí Universal Portfolio“. Přesnější a lépe ověřitelná otázka zní:

Přináší DRL při stejných nákladech, informacích a rizikových omezeních hodnotu nad online růstově optimální benchmark – a pokud ano, pramení ze skutečně užitečné informace o stavu trhu, nebo z nastavení simulace a backtestu?

Coverův rámec, OCO a Kellyho cíl poskytují pro tuto otázku pevné srovnávací body. DRL pak má smysl zejména tehdy, když musí rozhodovat v opravdu dynamickém prostředí: s proměnlivou likviditou, omezeními exekuce, víceperiodickými dopady a stavovými proměnnými, které jednoduchá online alokace neumí zachytit.71411

Hranice současných důkazů

• Coverova dlouhodobá vlastnost není krátkodobá garance zisku a vztahuje se k nejlepší fixní rebalancované alokaci zvolené zpětně, nikoli ke všem myslitelným dynamickým strategiím.8
• Teoreticky lepší výpočetní složitost VB-FTRL sama neprokazuje vhodnost pro produkční obchodní infrastrukturu.7
• Výsledky DRL v kontrolované simulaci ověřují algoritmus, nikoli existenci stabilního nadvýnosu na reálných trzích.14
• Nákladový model může měnit pořadí strategií; výsledek bez realistické exekuce proto nelze vykládat jako samostatný důkaz obchodovatelnosti.11
• Pro tvrzení o nezávisle replikovaném a dlouhodobě stabilním reálném nadvýnosu kombinace Universal Portfolio a DRL nejsou v uvedených zdrojích dostatečné důkazy.

Zdroje

7 Efficient and Near-Optimal Online Portfolio Selection – algoritmus VB-FTRL, regret garance a výpočetní složitost.
8 Cover's universal portfolio, stochastic portfolio theory and the numeraire portfolio – vysvětlení klasického srovnávacího portfolia a modelově nezávislé univerzálnosti.
11 Realistic Market Impact Modeling for Reinforcement Learning – vliv nákladových a impact modelů na výsledky i pořadí DRL algoritmů.
14 Evaluation of Deep Reinforcement Learning Algorithms for Portfolio Optimisation – Kellyho cíl, simulované prostředí a analytický benchmark.
16 High order universal portfolios – konstrukce vyšších řádů Universal Portfolio.

7: https://arxiv.org/pdf/2209.13932v2
8: https://arxiv.org/html/1611.09631v1
11: https://arxiv.org/html/2603.29086v1
14: https://arxiv.org/pdf/2307.07694
16: https://arxiv.org/abs/2311.13564