Van Universal Portfolio tot DRL: waarom Cover opnieuw relevant is voor kwantitatieve strategieën

Thomas M. Covers ideeën over het Universal Portfolio en groeioptimaal beleggen zijn weer actueel, maar niet omdat ze zomaar in een deep-learningmodel kunnen worden verpakt. De interessantste recente ontwikkeling ligt op drie plekken: efficiëntere online optimalisatie, DRL-omgevingen met een toetsbare Kelly-doelstelling en een veel hardere beoordeling van transactiekosten en marktimpact.71411

De kernboodschap voor quant-onderzoekers is nuchter: deze literatuur levert sterke baselines en betere experimentele ontwerpen op. Zij bewijst nog niet dat “Universal Portfolio + DRL” een breed reproduceerbare route naar live alpha is.71411

Eerst het onderscheid: Universal Portfolio, Kelly en DRL zijn niet hetzelfde

Covers Universal Portfolio vergelijkt een online portefeuille met de achteraf beste constante, periodiek herbalancerende portefeuille. De klassieke universaliteitsclaim is modelvrij: zij vereist geen vooraf gespecificeerd stochastisch marktmodel.8

De Kelly-benadering, of groeioptimaal beleggen, maximaliseert daarentegen de verwachte logaritmische vermogensgroei. Recente DRL-studies gebruiken precies die lognut als optimalisatiedoel, maar een logaritmische reward maakt een DRL-agent niet automatisch “universeel” in de betekenis van Cover.148

Met prijsrelatieven $x_t$ en portefeuillegewichten $w_t$ kan vermogen zonder kosten worden geschreven als:

$$
W_T = W_0 \prod_{t=1}^{T} w_t^\top x_t.
$$

De bijbehorende online verliesfunctie is:

$$
\ell_t(w) = -\log(w^\top x_t).
$$

Als $W_T^\star$ het vermogen is van de achteraf beste vaste portefeuille, dan geldt:

$$
R_T = \sum_{t=1}^{T}\ell_t(w_t)

• \min_{w\in\Delta_d}\sum_{t=1}^{T}\ell_t(w)
  = \log\frac{W_T^\star}{W_T}.
  $$

Daarmee ontstaat een nuttige brug: online convex optimization (OCO) meet het cumulatieve verschil in logvermogen, groeioptimaal beleggen specificeert een economisch doel en DRL kan worden ingezet om dynamisch beleid te leren. De onderliggende garanties zijn echter niet onderling inwisselbaar.7814

1. De belangrijkste OCO-paper: VB-FTRL als efficiëntere Universal Portfolio-route

De paper Efficient and Near-Optimal Online Portfolio Selection van Rémi Jézéquel, Dmitrii M. Ostrovskii en Pierre Gaillard is de meest directe recente voortzetting van Covers online-portefeuilleprobleem.7

De auteurs introduceren VB-FTRL: Volumetric-Barrier enhanced Follow-The-Regularized-Leader. Volgens de paper behoudt de methode in essentie dezelfde regret-garantie als Universal Portfolios — met een constante factor en een vervanging van $\log(T)$ door $\log(T+d)$ — terwijl de rekentijd sterk wordt verlaagd.7

De gerapporteerde complexiteit per ronde is:

$$
\widetilde{O}(d^2(T+d)).
$$

Dat is vooral waardevol voor een allocatielaag: een systeem dat kapitaal verdeelt over activa, sectoren of bestaande strategieën. Het verschuift de aandacht van een lastig gewogen integraal over een continue portefeuille-ruimte naar een online-algoritme met expliciete optimalisatiestructuur en complexiteitsanalyse.7

De praktische grens blijft belangrijk. Een betere theoretische complexiteit betekent niet automatisch dat de methode geschikt is voor high-frequency productie. Latency, geheugenverbruik, numerieke stabiliteit, dimensie van het universum en de verwerking van kosten moeten afzonderlijk worden getest.

2. Kelly als toetsbare DRL-benchmark

Evaluation of Deep Reinforcement Learning Algorithms for Portfolio Optimisation biedt een bijzonder bruikbaar kader voor DRL-onderzoek.14 De studie evalueert portefeuille-algoritmen in gesimuleerde markten met het Kelly-criterium, dus lognut, als doelstelling.

Het belangrijke ontwerpidee: zonder marktimpact kan een analytisch optimale strategie worden afgeleid. Die dient vervolgens als bovengrens of referentie wanneer marktimpact wordt toegevoegd.14

Dit is waardevoller dan een losse historische backtest. De onderzoeksvraag wordt dan eerst:

Kan een agent, in een omgeving waar het juiste antwoord bekend is, het juiste beleid leren?

Pas daarna is het verstandig om naar historische markten, alternatieve data en complexe execution-logica te gaan. Anders blijft onduidelijk of een aantrekkelijke equity curve voortkomt uit daadwerkelijk leren, een fout in de omgeving, verborgen leverage of genegeerde kosten.

De auteurs rapporteren bovendien dat off-policy-algoritmen zoals DDPG, TD3 en SAC moeite kunnen hebben om de juiste Q-functie te leren bij ruisende rewards, terwijl PPO en A2C met generalized advantage estimation beter met die ruis kunnen omgaan.14 Dat is bewijs binnen hun gecontroleerde simulatieopzet, niet meteen bewijs van winstgevendheid in echte markten.

3. High-order Universal Portfolios: strategieën behandelen als belegbare bouwstenen

De paper High order universal portfolios bouwt voort op Cover door een bestaand Universal Portfolio als nieuw synthetisch activum aan de markt toe te voegen en vervolgens recursief hogere-orde Universal Portfolios te construeren.16

De auteurs stellen onder meer dat deze hogere-orde constructies verschillen van het oorspronkelijke Cover-portfolio en de tijdpermutatie-invariantie kunnen doorbreken.16

Voor quant-engineering suggereert dat een interessante toepassing: niet uitsluitend alloceren tussen aandelen of ETF's, maar tussen netto-rendementsstromen van substrategieen, zoals trendvolging, mean reversion of arbitrage.

Daar hoort wel een strikte implementatiediscipline bij. Elke synthetische strategie moet interne handelskosten bevatten. Op portefeuilleniveau moeten dubbeltellingen, overlappende posities, netto-ordering en kapitaalbeslag worden verwerkt. Meerdere mooie strategiebacktests zijn niet automatisch frictieloos verhandelbare activa.

4. Marktimpact kan de winnaar van een DRL-backtest veranderen

De recente preprint Realistic Market Impact Modeling for Reinforcement Learning is geen directe uitbreiding van Cover, maar is essentieel voor de praktische beoordeling van groeioptimale en DRL-gedreven strategieën.11

De studie rapporteert dat de keuze van het kostenmodel zowel absolute prestaties als de relatieve rangorde van algoritmen beïnvloedt. In hun aandelenomgeving daalt de out-of-sample-return van geoptimaliseerde PPO bijvoorbeeld van 20% onder het basismodel naar 15% onder het AC-impactmodel, terwijl TD3 van 15% naar 18% stijgt.11

Dat betekent dat een algoritme niet alleen kan winnen omdat het betere signalen verwerkt. Het kan ook profiteren van een kostenaannname die toevallig gunstig uitpakt voor zijn omzetprofiel.

Daarom hoort een degelijk onderzoeksprotocol ten minste drie lagen te bevatten:

• Zonder kosten: controleer of de implementatie overeenkomt met de theorie.
• Met expliciete handelskosten: test gevoeligheid voor turnover.
• Met impact, vertraging en execution-beperkingen: test of het resultaat schaalbaar en daadwerkelijk verhandelbaar blijft.11

Een vaste fee pas aan het einde van een kosteloze backtest aftrekken is hiervoor onvoldoende.

Waarom dit nu onderzoek- én praktijkwaarde heeft

Kapitaalallocatie is vaak beter te isoleren dan prijsvoorspelling

Universal Portfolio-achtige methoden en VB-FTRL richten zich direct op kapitaalverdeling.7 Daardoor zijn ze bijzonder geschikt als baseline voor een allocator boven op bestaande signalen of substrategieen.

Een realistische vergelijking is bijvoorbeeld:

• equal-weight allocatie;
• vaste gewichten;
• een benadering van Universal Portfolio;
• VB-FTRL;
• een DRL-allocator met exact dezelfde informatie, risico- en kostenbeperkingen.

Zo wordt duidelijk of complexiteit werkelijk extra waarde toevoegt.

Loggroei sluit natuurlijk aan op samengesteld vermogen

Onder een positieve vermogenswaarde en zonder additionele reward-transformaties geldt:

$$
\sum_{t=1}^{T}\log\frac{W_t}{W_{t-1}}
= \log\frac{W_T}{W_0}.
$$

De som van log-rendementen correspondeert dus rechtstreeks met de loggroei van eindvermogen. Dat maakt het Kelly-doel economisch interpreteerbaar.14

Maar zodra een model reward clipping, entropiebonussen, risico-penalties of tijdsdiscontering gebruikt, verandert het feitelijke optimalisatieprobleem. Onderzoekers moeten die gewijzigde doelstelling expliciet documenteren in plaats van algemeen te blijven spreken over “maximale langetermijngroei”.

Theorie maakt fouten in complexe modellen sneller zichtbaar

De Cover-benchmark beantwoordt de vraag hoeveel cumulatieve loggroei een online methode opgeeft ten opzichte van de achteraf beste vaste allocatie.8 De Kelly-simulatiebenchmark beantwoordt een andere vraag: kan de agent in een bekende structuur het analytisch optimale beleid benaderen?14

Samen vormen ze een sterk diagnostisch kader:

• OCO-benchmark: hoe groot is de regret ten opzichte van de beste vaste herbalancerende portefeuille?
• DRL-benchmark: leert de agent een bekend optimaal beleid in een gecontroleerde omgeving?
• Engineering-benchmark: blijft de conclusie overeind onder kosten, impact en uitvoeringsrestricties?

Geen van deze benchmarks is zelf een kant-en-klare live strategie, maar samen zijn ze veel informatiever dan alleen cumulatief rendement of Sharpe ratio.

Een kostenbewuste groeireward

Neem $c_t$ als de handelskosten als fractie van het vermogen vóór de transactie. Een vereenvoudigd zelf-financierend model is:

$$
W_t = W_{t-1}(1-c_t)w_t^\top x_t,
\qquad 0\leq c_t<1.
$$

De netto reward wordt dan:

$$
r_t = \log(w_t^\top x_t)+\log(1-c_t).
$$

Wanneer kosten afhangen van omzet, moet die omzet worden gemeten vanaf de feitelijke portefeuille na de vorige prijsbeweging. Zonder tussentijdse transacties is dat gewicht:

$$
\widetilde{w}{t-1,i}=
\frac{w{t-1,i}x_{t-1,i}}
{w_{t-1}^\top x_{t-1}}.
$$

Dat voorkomt dat een verandering in doelgewichten automatisch als gerealiseerde handelsomzet wordt behandeld. Het model dekt nog altijd niet alle praktische fricties, zoals market impact, financieringskosten, securities lending, discrete orders en beperkte liquiditeit.

Praktische leeslijst

1. VB-FTRL en online portefeuillekeuze — de belangrijkste directe recente theoretische uitbreiding van Universal Portfolio.7
2. Kelly-gebaseerde evaluatie van DRL — nuttig om rewards, tijdsvolgorde en leerprestaties eerst in een controleerbare omgeving te valideren.14
3. High-order Universal Portfolios — relevant voor allocatie tussen strategieën of synthetische rendementspatronen.16
4. Marktimpact in DRL — essentieel om te begrijpen hoe execution-aannames backtestranglijsten kunnen vertekenen.11
5. Online Quantitative Trading Strategies — een door NYU Stern gehost document met een Monte Carlo-benadering van Universal Portfolio; bruikbaar als implementatie-ingang, maar niet gelijk te stellen aan peer-reviewed of live gevalideerd bewijs.10

Conclusie

De meest kansrijke onderzoeksvraag is niet of DRL “Universal Portfolio kan verslaan”. Een beter geformuleerde vraag is:

Levert DRL, onder exact dezelfde kosten-, risico- en informatiebeperkingen, aantoonbare extra waarde boven een online groeibasislijn — en komt die waarde uit bruikbare toestandinformatie in plaats van uit de backtestomgeving?

Begin daarom met reproduceerbare vermogensdynamiek, een beste-vaste-portefeuillebenchmark en een Kelly-omgeving met bekende oplossing. Vergelijk daarna eenvoudige allocatie, Universal Portfolio-benaderingen, VB-FTRL en DRL. Pas in de laatste stap hoort de toets op uitvoerbaarheid: strikte out-of-sample-testen, lekvrije tijdsvolgorde, kostenstress, capaciteit en falende marktscenario's.

Bronnen

• 7 Efficient and Near-Optimal Online Portfolio Selection — arXiv
• 8 Cover's universal portfolio, stochastic portfolio theory and the numeraire portfolio — arXiv
• 10 Online Quantitative Trading Strategies — NYU Stern
• 11 Realistic Market Impact Modeling for Reinforcement Learning — arXiv
• 14 Evaluation of Deep Reinforcement Learning Algorithms for Portfolio Optimisation — arXiv
• 16 High order universal portfolios — arXiv