Universal Portfolio och tillväxtoptimal investering: vad den nya forskningen faktiskt säger

De senaste årens viktigaste utveckling är inte att bara klä Thomas M. Covers Universal Portfolio i ett neuralt nätverk. Tre betydligt mer konkreta spår sticker ut: effektivare online-konvex optimering, tillväxtoptimala mål för utvärdering av förstärkningsinlärning och en mer realistisk hantering av handelsfriktioner.71411

För kvantutvecklare är detta relevant eftersom det flyttar fokus från enbart prediktion till den svårare frågan: hur ska kapital fördelas och omsättas när osäkerhet, kostnader och modellrisk finns med? Samtidigt är det viktigt att inte övertolka resultaten. Underlaget räcker inte för att säga att kombinationen Universal Portfolio och DRL redan har visat robust, reproducerbar överavkastning i livehandel.71411

Börja med rätt begrepp

Covers Universal Portfolio jämför en adaptiv strategi med den i efterhand bästa konstanta, ombalanserade portföljen. Teoremet handlar alltså inte om att slå varje tänkbar dynamisk handelsstrategi. Dessutom är universalitetsegenskapen modellfri: den kräver inte att en specifik stokastisk process för marknaden antas.8

Kelly-kriteriet, eller tillväxtoptimal investering, har ett annat fokus: att maximera den långsiktiga logaritmiska förmögenhetstillväxten. Nyare DRL-forskning använder uttryckligen detta logaritmiska nytto-mål för portföljoptimering.14 Men ett DRL-system med logaritmisk belöning är inte automatiskt försett med Covers teoretiska garanti.814

Med prisrelativer $x_t$ och portföljvikter $w_t$ kan förmögenheten, utan handelskostnader, skrivas som

$$
W_T = W_0 \prod_{t=1}^{T} w_t^\top x_t.
$$

Om den periodvisa förlusten definieras som

$$
\ell_t(w)=-\log(w^\top x_t),
$$

blir skillnaden mot den bästa fasta portföljen i efterhand

$$
R_T=
\sum_{t=1}^{T}\ell_t(w_t)

\min_{w\in\Delta_d}\sum_{t=1}^{T}\ell_t(w)

\log\frac{W_T^\star}{W_T}.
$$

Detta är den centrala bryggan mellan områdena: OCO mäter kumulativ skillnad i logaritmisk förmögenhet, Kelly ger ett ekonomiskt mål och DRL kan användas för att lära dynamiska beslut. Matematiskt överlappar de, men deras garantier är inte utbytbara.7814

VB-FTRL: en praktiskt viktigare väg än en ren UP-implementation

Artikeln Efficient and Near-Optimal Online Portfolio Selection av Rémi Jézéquel, Dmitrii M. Ostrovskii och Pierre Gaillard är den mest direkta moderna fortsättningen på Covers online-portföljproblem.7

Forskarna presenterar VB-FTRL (Volumetric-Barrier enhanced Follow-The-Regularized-Leader). Metoden behåller i huvudsak samma regret-garanti som Universal Portfolio, upp till konstantfaktorer och en ändring från $\log(T)$ till $\log(T+d)$, men med väsentligt lägre beräkningskostnad.7 Den rapporterade körtiden per runda är

$$
\widetilde{O}(d^2(T+d)).
$$

Här är forskningsvärdet tydligt: i stället för att arbeta med en svår kontinuerlig viktning över alla konstanta portföljer får man en onlinealgoritm med explicit optimeringsstruktur och analyserbar komplexitet.7

För kvantitativ portföljförvaltning är den naturliga användningen främst som baslinje för:

• kapitalfördelning mellan tillgångar, sektorer eller faktorer,
• fördelning mellan redan existerande handelssignaler,
• jämförelser med mer komplexa maskininlärnings- och RL-modeller under identiska begränsningar.

Det vore däremot fel att likställa förbättrad teoretisk komplexitet med produktionsklar högfrekvenshandel. Latens, minnesanvändning, numerisk stabilitet, begränsningar i orderläggning och faktiska kostnader måste utvärderas separat.7

Kelly och DRL: värdet ligger i verifierbara experiment

I Evaluation of Deep Reinforcement Learning Algorithms for Portfolio Optimisation utvärderas vanliga DRL-algoritmer på simulerade portföljproblem med Kellys logaritmiska nytta som mål.14 En särskilt stark del av upplägget är att författarna kan härleda en analytiskt optimal policy när marknadspåverkan saknas. Den fungerar som ett referenstak när marknadspåverkan sedan införs.14

Det ger ett svar på en grundläggande men ofta förbisedd fråga i finansiell AI: kan agenten lära sig rätt beslut när man faktiskt känner till det rätta svaret?

Studien rapporterar att off-policy-metoderna DDPG, TD3 och SAC har svårt att lära sig rätt Q-funktion när belöningarna är brusiga, medan on-policy-metoderna PPO och A2C med generaliserad advantage-estimering hanterar bruset bättre i den studerade miljön.14

Detta är värdefullt för strategiutveckling, men är inte ett bevis på lönsamhet på verkliga marknader. Simulerade miljöer lämpar sig för att kontrollera belöningsfunktioner, handelstidpunkter och implementation; de fångar inte automatiskt regimskiften, informationsläckage, kapacitetsgränser eller faktisk exekvering.14

Högre ordningens Universal Portfolios: strategier som tillgångar

Artikeln High order universal portfolios undersöker vad som händer om en redan konstruerad Universal Portfolio läggs till marknaden som en ny syntetisk tillgång, och man sedan bygger vidare rekursivt.16

Författarna visar bland annat att dessa högre ordningens konstruktioner skiljer sig från Covers ursprungliga UP och kan bryta tidspermutationsinvariansen.16 Den praktiska idén är intressant: i stället för att bara vikta aktier kan en kapitalallokerare vikta mellan exempelvis trendföljning, mean reversion, arbitrage eller andra systematiska delstrategier.

Men det finns en viktig implementeringsgräns. En syntetisk strategi är inte en friktionsfri tillgång. Dess avkastningsserie måste redan innehålla interna kostnader, och portföljlagret behöver hantera överlappande innehav, nettning av order, belåning och kapitalbindning. Den teoretiska konstruktionen räcker inte i sig för att visa överlägsenhet efter verkliga handelskostnader.16

Marknadspåverkan kan ändra slutsatsen

En ny studie om realistisk marknadspåverkan i RL-handel rapporterar att kostnadsmodellen påverkar både absolut resultat och den relativa rankningen mellan algoritmer.11 I studiens aktiehandelsmiljö faller exempelvis optimerad PPO:s resultat utanför träningsperioden från 20 procents avkastning och Sharpe 1,06 i basfallet till 15 procent under Almgren–Chriss-liknande kostnadsantaganden, medan TD3 förbättras från 15 till 18 procent.11

Det är inte en direkt utveckling av Cover-teorin, men det är avgörande för hur Cover-, Kelly- och DRL-idéer bör testas. En strategi som ser bäst ut i en backtest kan gynnas av hur kostnaderna modellerats, snarare än av bättre investeringsbeslut.11

En rimlig utvärderingsordning är därför:

1. Friktionsfri miljö: kontrollera att matematik, belöning och benchmark fungerar.
2. Explicit avgiftsmodell: testa känslighet för omsättning och courtage.
3. Marknadspåverkan och exekveringsbegränsningar: pröva om resultatet överlever vid större kapital och realistiska orderantaganden.

Att träna utan kostnader och sedan dra av en fast avgift från slutresultatet är normalt en otillräcklig metod.

Så kan ett kostnadsmedvetet tillväxtmål formuleras

Om $c_t$ är handelskostnaden som andel av förmögenheten före handeln kan en förenklad självfinansierande modell skrivas som

$$
W_t=W_{t-1}(1-c_t)w_t^\top x_t,
\qquad 0\leq c_t<1.
$$

Den nettobaserade logaritmiska belöningen blir då

$$
r_t=\log(w_t^\top x_t)+\log(1-c_t).
$$

När kostnaden beror på omsättning bör den beräknas från den faktiska vikten efter prisrörelsen, inte bara från skillnaden mellan två målviktvektorer. Utan mellanliggande handel är den vikten

$$
\widetilde{w}{t-1,i}=
\frac{w{t-1,i}x_{t-1,i}}
{w_{t-1}^\top x_{t-1}}.
$$

Det är en viktig detalj för att undvika att målviktsförändringar felaktigt tolkas som genomförd handelsvolym. Modellen är dock fortfarande förenklad och täcker inte automatiskt spreadar, prisimpact, blankningskostnader, finansiering eller diskreta orderbegränsningar.

Teknisk läsning för implementation

Som mer tillämpat komplement beskriver NYU Stern-materialet Online Quantitative Trading Strategies en Monte Carlo-approximation av Covers Universal Portfolio: ett antal slumpmässigt genererade konstanta portföljer viktas över tiden efter historisk prestation.10

Det är en användbar startpunkt för att bygga en reproducerbar baslinje. Att materialet är universitetsanknutet innebär dock inte att det är peer review-granskat eller att strategin har verifierats i livehandel.10

För Kelly-inriktad riskhantering är Stanford-materialet Risk-Constrained Kelly Gambling relevant. Där formuleras en ytterligare riskrestriktion som begränsar sannolikheten för ett oönskat förmögenhetsfall, och en konvex approximation används för att ge en garanti för den restriktionen.13 Det illustrerar väl varför tillväxtoptimering och riskkontroll behöver behandlas som två separata designproblem.

Rekommenderad forskningsdesign

En trovärdig studie bör inte börja med en änd-till-änd DRL-agent. En starkare ordning är:

1. Reproducera baslinjerna: implementera förmögenhetsrekursion, bästa fasta portfölj i efterhand och en Kelly-miljö med analytisk referens.
2. Jämför kapitalallokering på lika villkor: testa lika viktning, fasta vikter, UP-approximation, VB-FTRL och en DRL-allokerare med samma data, kostnader och riskgränser.
3. Stressa exekveringen: använd strikt tidsmässig out-of-sample-testning och kontrollera läckage, handelsfördröjning, kapacitet, omsättningskänslighet och strategihaverier.
4. Identifiera DRL:s marginalnytta: undersök om förbättringen kommer från användbar tillståndsinformation och dynamiska begränsningar – eller från miljödesign och backtestantaganden.

Den mest intressanta frågan är därför inte om ”djupinlärning kan slå Universal Portfolio”. Frågan är när DRL verkligen tillför något utöver en väl specificerad online- och tillväxtoptimal baslinje.

Slutsats

Covers idéer är fortsatt högst relevanta för modern kvantfinans, men deras starkaste nutida roll är som rigorösa referenspunkter för kapitalallokering och modellutvärdering. VB-FTRL visar att online-portföljval kan göras mer beräkningsmässigt hanterbart.7 Kelly-baserade DRL-miljöer visar hur komplexa modeller kan granskas mot analytiska lösningar.14 Och forskning om marknadspåverkan visar varför en till synes vinnande strategi måste prövas mot realistiska handelsfriktioner.11

Det finns därmed betydande forsknings- och ingenjörsvärde – men inga tillräckliga belägg för att betrakta Universal Portfolio plus DRL som en färdig formel för uthållig liveöveravkastning.

Källor

• 7 Efficient and Near-Optimal Online Portfolio Selection – VB-FTRL, regret-garanti och komplexitet.
• 8 Cover's universal portfolio, stochastic portfolio theory and the numeraire portfolio – den klassiska innebörden av universalitet och jämförelseobjektet.
• 10 Online Quantitative Trading Strategies – Monte Carlo-approximation av Universal Portfolio.
• 11 Realistic Market Impact Modeling for Reinforcement Learning – hur kostnadsantaganden påverkar RL-resultat.
• 13 Risk-Constrained Kelly Gambling – riskbegränsad Kelly-optimering.
• 14 Evaluation of Deep Reinforcement Learning Algorithms for Portfolio Optimisation – Kelly-mål, analytiskt benchmark och DRL-utvärdering.
• 16 High order universal portfolios – rekursiva och syntetiska UP-konstruktioner.

7: https://arxiv.org/pdf/2209.13932v2
8: https://arxiv.org/html/1611.09631v1
10: https://www.stern.nyu.edu/sites/default/files/2025-05/Glucksman_Lahanis.pdf
11: https://arxiv.org/html/2603.29086v1
13: https://stanford.edu/~boyd/papers/kelly.html
14: https://arxiv.org/pdf/2307.07694
16: https://arxiv.org/abs/2311.13564