Universal Portfolio og vækstoptimal investering får nyt liv i kvantstrategier

Thomas M. Covers Universal Portfolio er igen relevant i kvantfinans – ikke som en simpel opskrift på at slå markedet, men som et stringent benchmark for online kapitalallokering. Samtidig giver vækstoptimal investering efter Kelly-princippet et naturligt mål for modeller, der vil maksimere langsigtet, sammensat formuevækst.

De stærkeste nyere forskningsspor ligger i krydsfeltet mellem online-konveks optimering (OCO), reinforcement learning og realistisk eksekvering. Det afgørende er dog at skelne mellem teori, simulering og handel i virkelige markeder.

Først: Tre beslægtede, men forskellige idéer

Cover's Universal Portfolio sammenligner en løbende allokeringsregel med den bedste konstante, løbende rebalancerede portefølje, som man kun kan udpege med facit i hånden. Universalitetsresultatet er modeluafhængigt i den forstand, at det ikke kræver, at markedet følger en bestemt stokastisk proces.8

Kelly- eller vækstoptimal investering har et andet fokus: at maksimere forventet logaritmisk formuevækst. For en porteføljevægt (w_t) og en vektor af prisrelative afkast (x_t) kan formuen i en idealiseret, omkostningsfri model skrives som:

[
W_T = W_0 \prod_{t=1}^{T} w_t^\top x_t.
]

Det giver et naturligt online-tab:

[
\ell_t(w) = -\log(w^\top x_t).
]

Her mødes de tre felter: OCO minimerer løbende den akkumulerede log-tabsværdi relativt til en fast portefølje; Kelly-optimering maksimerer den tilsvarende log-vækst; og DRL kan bruges til at lære en dynamisk politik. Det betyder ikke, at en DRL-model automatisk arver Covers teoretiske garanti.7814

Den vigtigste OCO-udvikling: VB-FTRL

Artiklen Efficient and Near-Optimal Online Portfolio Selection af Rémi Jézéquel, Dmitrii M. Ostrovskii og Pierre Gaillard er den mest direkte nyere forlængelse af Covers problemstilling.7

Forskerne introducerer VB-FTRL – Volumetric-Barrier enhanced Follow-The-Regularized-Leader. Metoden sigter mod stort set samme regret-garanti som Universal Portfolio, op til konstante faktorer og en ændring fra (\log(T)) til (\log(T+d)), men med markant lavere beregningsomkostninger.7

Den rapporterede køretid pr. runde er:

[
\widetilde{O}(d^2(T+d)),
]

hvor (d) er antallet af aktiver og (T) antallet af handelsrunder.7

Hvorfor det er praktisk interessant

Den oprindelige Universal Portfolio involverer i praksis vægtning over et kontinuum af konstante porteføljer. VB-FTRL flytter derfor problemstillingen tættere på noget, der kan implementeres som en online-optimeringskomponent.

Den mest oplagte anvendelse er ikke nødvendigvis minut- eller millisekundhandel, men eksempelvis:

• løbende fordeling af kapital mellem aktiver, sektorer eller faktorfondslignende signaler,
• en allokeringsmotor oven på flere eksisterende handelsstrategier,
• et stringent benchmark for mere komplekse ML- og DRL-modeller.

Den teoretiske kompleksitetsforbedring er dog ikke det samme som dokumenteret produktionsklarhed. Latens, hukommelsesforbrug, numerisk stabilitet, omsætningshastighed og faktiske handelskostnader skal stadig testes særskilt.7

DRL og Kelly: Det rigtige spørgsmål er, om modellen kan lære et kendt optimum

I Evaluation of Deep Reinforcement Learning Algorithms for Portfolio Optimisation vurderes kendte DRL-algoritmer i simulerede porteføljemiljøer med Kellys log-nytte som mål.14

Det særligt nyttige ved designet er, at forfatterne kan udlede en analytisk optimal politik uden markedspåvirkning. Den fungerer som et loft eller referencepunkt, når markedspåvirkning tilføjes.14

Studiet finder blandt andet, at off-policy-metoderne DDPG, TD3 og SAC i deres opsætning har svært ved at lære den korrekte Q-funktion under støjende belønninger, mens PPO og A2C med generalized advantage estimation klarer sig bedre.14

Derfor har denne type forskning høj værdi

I mange finansielle DRL-projekter er det svært at afgøre, om en god backtest skyldes reel læring, tilfældigheder, informationslækage eller fejl i handelsmiljøet. Et miljø med en analytisk løsning ændrer spørgsmålet fra:

Gav modellen et overbevisende afkast i historiske data?

Til:

Kan modellen lære den rigtige beslutningsregel, når vi kender den rigtige løsning?

Det er et langt stærkere valideringstrin, før man går til historiske data og live-lignende eksekveringsantagelser. Resultaterne er imidlertid simuleringsevidens, ikke et bevis på, at strategien skaber vedvarende merafkast på virkelige markeder.14

Højereordens Universal Portfolios: Strategier som investerbare aktiver

Artiklen High order universal portfolios undersøger, hvad der sker, når en eksisterende Universal Portfolio føjes til markedet som et nyt syntetisk aktiv, og man derefter gentager konstruktionen.16

Forfatterne viser blandt andet, at de højereordens konstruktioner er forskellige fra den oprindelige Cover-portfolio og kan bryde dens tidspermutationsinvarians.16

Det peger mod en interessant kvantarkitektur: I stedet for kun at allokere mellem aktier kan en porteføljemotor allokere mellem strategier – eksempelvis trendfølgning, relativ værdi, carry eller markedsneutrale signaler.

Men denne fortolkning kræver ekstra disciplin i praksis. Hver understrategis afkastserie skal indeholde interne omkostninger. På tværs af strategier skal man desuden håndtere overlap i positioner, nettning af handler, margin og kapacitetsbegrænsninger. Flere pæne strategibacktests er ikke automatisk en friktionsfri aktivklasse.16

Markedspåvirkning kan vende algoritmernes indbyrdes placering

En nyere artikel om realistisk markedspåvirkning i reinforcement learning fremhæver en central advarsel: Omkostningsmodellen påvirker ikke blot det absolutte afkast, men kan også ændre den relative rangordning mellem algoritmer.11

I det rapporterede aktiehandelseksempel falder optimeret PPO's out-of-sample-afkast fra 20 % i basismodellen til 15 % under Almgren-Chriss-modellen, mens TD3 i samme sammenligning går fra 15 % til 18 %.11

Det er ikke en direkte videreudvikling af Cover-teori, men det er afgørende for vurderingen af både Kelly-baserede og DRL-baserede porteføljer: En strategi kan se bedst ud, fordi den er begunstiget af en bestemt og for simpel omkostningsantagelse – ikke fordi dens investeringsbeslutninger er bedre.11

Sådan bør teorierne bruges i et moderne forskningsforløb

En robust arbejdsgang kan være:

1. Byg enkle baselines først. Implementér fast vægtning, rebalancering og et benchmark mod den bedste retrospektivt valgte konstante portefølje.
2. Tilføj online-optimering. Sammenlign beregnelige Universal Portfolio-approksimationer og VB-FTRL under identiske data- og risikoregler.710
3. Validér DRL i kontrollerede miljøer. Brug et Kelly-miljø med kendt analytisk reference, før modellen vurderes på markedsdata.14
4. Indbyg nettoafkast fra starten. Test uden omkostninger for at kontrollere teori og implementering, med eksplicitte gebyrer for at måle omsætningsfølsomhed og med markedspåvirkning for at vurdere reel skalerbarhed.11
5. Hold påstande adskilt. Lav regret mod en fast rebalanceret benchmark, god performance i simulering og robust nettoafkast efter eksekvering er tre forskellige resultater.

Konklusion

Covers Universal Portfolio og vækstoptimal investering er især værdifulde i dag som disciplinerede referencepunkter for moderne kvantudvikling. OCO giver et sprog for online beslutninger og regret; Kellys log-nytte forbinder træningsmålet med sammensat formuevækst; og DRL kan undersøges seriøst, når den holdes op mod kendte eller veldefinerede optima.

Den stærkeste aktuelle forskningsmulighed er derfor ikke blot at træne en større handelsagent. Den er at dokumentere, om DRL giver ekstra værdi ud over en gennemsigtig online vækstoptimeringsbaseline, når informationssæt, risikobegrænsninger, omkostninger og markedspåvirkning er ens.71114

Der er på det foreliggende grundlag ikke tilstrækkelig evidens for, at kombinationen af Universal Portfolio og DRL allerede leverer stabilt, reproducerbart merafkast i live-handel. Det er netop derfor, de teoretiske benchmarks og de strenge eksekveringstests er så værdifulde.

Kilder

• 7 Efficient and Near-Optimal Online Portfolio Selection – VB-FTRL, regret og kompleksitet.
• 8 Cover's universal portfolio, stochastic portfolio theory and the numeraire portfolio – den klassiske definition af universalitet og benchmark.
• 10 Online Quantitative Trading Strategies – Monte Carlo-approksimation af Universal Portfolio.
• 11 Realistic Market Impact Modeling for Reinforcement Learning – omkostningsmodellens effekt på RL-resultater.
• 14 Evaluation of Deep Reinforcement Learning Algorithms for Portfolio Optimisation – Kelly-mål, DRL og analytisk benchmark.
• 16 High order universal portfolios – syntetiske Universal Portfolio-aktiver og højereordens konstruktioner.

7: https://arxiv.org/pdf/2209.13932v2
8: https://arxiv.org/html/1611.09631v1
10: https://www.stern.nyu.edu/sites/default/files/2025-05/Glucksman_Lahanis.pdf
11: https://arxiv.org/html/2603.29086v1
14: https://arxiv.org/pdf/2307.07694
16: https://arxiv.org/abs/2311.13564