Universal Portfolios, Kelly und DRL: Was Cover-Theorie heute für Quant-Strategien bringt

Covers Universal Portfolio ist wieder hochrelevant – allerdings weniger als fertige Handelsmaschine als vielmehr als präziser Referenzrahmen für die moderne quantitative Forschung. Die interessantesten Fortschritte der vergangenen fünf Jahre liegen an der Schnittstelle von Online Convex Optimization (OCO), wachstumsoptimaler Allokation nach dem Kelly-Prinzip und Deep Reinforcement Learning (DRL).714

Die entscheidende Einordnung: Es gibt derzeit keinen belastbaren Nachweis, dass eine Kombination aus Universal Portfolio und DRL verlässlich und reproduzierbar Live-Alpha erzeugt. Sehr wohl gibt es aber starke Gründe, diese Ansätze als Basis für Portfolio-Allokation, Strategiekombination und saubere Modellvalidierung zu untersuchen.71114

Universal Portfolio, Kelly und DRL sind nicht dasselbe

Covers Universal Portfolio misst sich am im Nachhinein besten konstant rebalancierten Portfolio. Seine berühmte Eigenschaft ist modellfrei: Die langfristige logarithmische Rendite nähert sich der eines erst rückblickend identifizierbaren Best-in-Hindsight-Portfolios an.8

Das Kelly-Kriterium beziehungsweise wachstumsoptimales Investieren verfolgt dagegen die Maximierung des erwarteten logarithmischen Vermögenswachstums. DRL kann dieses Ziel als Reward verwenden, erhält dadurch aber nicht automatisch Covers Universalitätsgarantie.14

Für Preisrelative (x_t) und Portfolio-Gewichte (w_t) gilt ohne Kosten:

[
W_T=W_0\prod_{t=1}^{T} w_t^\top x_t.
]

Mit dem Online-Loss

[
\ell_t(w)=-\log(w^\top x_t)
]

wird der Abstand zum besten konstanten Portfolio zu einem Regret-Problem:

[
\sum_{t=1}^{T}\ell_t(w_t)-\min_{w\in\Delta_d}\sum_{t=1}^{T}\ell_t(w)
=\log\frac{W_T^\star}{W_T}.
]

Genau hier treffen die Forschungsfelder zusammen: OCO untersucht den kumulierten Verlust gegenüber einer Vergleichsallokation, Kelly liefert ein ökonomisch interpretierbares Wachstumsziel, und DRL kann dynamische Entscheidungen unter Zustands- und Ausführungsrestriktionen lernen.7814

Der wichtigste OCO-Fortschritt: VB-FTRL

Die Arbeit Efficient and Near-Optimal Online Portfolio Selection von Rémi Jézéquel, Dmitrii M. Ostrovskii und Pierre Gaillard entwickelt mit VB-FTRL einen direkten modernen Ansatz für das klassische Online-Portfolio-Selektionsproblem.7

Der Kernpunkt: Das Verfahren behält im Wesentlichen die Regret-Perspektive des Universal Portfolio bei, verbessert aber die Rechenbarkeit erheblich. Berichtet wird eine Laufzeit pro Runde von

[
\widetilde{O}(d^2(T+d)).
]

Dabei steht (d) für die Zahl der Assets und (T) für die Zahl der Handelsperioden.7

Für Quant-Teams ist das vor allem als Allokationsschicht interessant:

• Kapital dynamisch über Aktien, Sektoren oder Faktorportfolios verteilen,
• mehrere bestehende Alpha-Strategien online gewichten,
• komplexe Lernmodelle gegen eine theoretisch fundierte Online-Benchmark testen.

Das ist jedoch kein Freifahrtschein für High-Frequency-Trading. Eine bessere asymptotische Komplexität beantwortet noch nicht Fragen zu Latenz, numerischer Stabilität, Speicherbedarf, Handelskosten oder Kapazität im realen Markt.7

Kelly als Prüfstand für Deep Reinforcement Learning

Besonders nützlich für DRL-Forschung ist die Studie Evaluation of Deep Reinforcement Learning Algorithms for Portfolio Optimisation. Sie verwendet simulierte Daten und das Kelly-Kriterium beziehungsweise Log-Utility als Zielgröße. Ohne Market Impact lässt sich dort eine optimale Policy analytisch herleiten; diese dient als Obergrenze beziehungsweise Referenz, sobald Markteinfluss modelliert wird.14

Das ist methodisch wertvoll, weil es eine Frage beantwortet, die bei vielen Trading-Backtests offenbleibt: Kann ein Agent in einer Umgebung mit bekannter Lösung überhaupt die richtige Politik lernen?

Die Autoren berichten zugleich Einschränkungen: Off-Policy-Verfahren wie DDPG, TD3 und SAC hatten in ihrem Setup Schwierigkeiten, wegen verrauschter Rewards die passende Q-Funktion zu lernen. On-Policy-Methoden wie PPO und A2C kamen mit Generalized Advantage Estimation besser zurecht.14

Für die Praxis folgt daraus nicht, dass PPO generell die beste Handelsmethode ist. Der robuste Schluss lautet: Bevor ein DRL-Modell auf historischen Marktdaten bewertet wird, sollte es zunächst in einer kontrollierten Umgebung mit bekannter Lösung bestehen. Sonst bleibt unklar, ob eine überzeugende Equity Curve aus echter Lernleistung, Datenleckage, verstecktem Leverage oder einer unvollständigen Kostenmodellierung stammt.

High-Order Universal Portfolios: Strategien als handelbare Bausteine

Die Arbeit High order universal portfolios erweitert Cover direkt: Ein bestehendes Universal Portfolio wird als synthetisches Asset zum Markt hinzugefügt; darauf aufbauend werden rekursiv höherstufige Universal Portfolios konstruiert. Die Autoren zeigen unter anderem, dass diese Konstruktionen vom ursprünglichen Cover-Portfolio verschieden sind und dessen Zeitpermutationsinvarianz durchbrechen können.16

Für die Quant-Praxis ist die naheliegende, aber noch zu validierende Idee: Nicht nur Einzeltitel, sondern ganze Strategien können als Allokationsobjekte behandelt werden – etwa Trendfolge, Mean Reversion, Carry oder marktneutrale Substrategien.

Dabei gilt eine wichtige Einschränkung: Die Renditeserie jeder Substrategie muss bereits interne Kosten enthalten. Auf der Metaebene kommen zudem Überschneidungen bei Positionen, Netting, Margin- und Liquiditätsanforderungen hinzu. Mehrere attraktive Backtests sind nicht automatisch mehrere reibungslos kombinierbare „Assets“.16

Warum Kostenmodelle über Sieg oder Niederlage entscheiden können

Eine aktuelle Arbeit zu realistischeren Market-Impact-Modellen für Reinforcement Learning zeigt, dass das Kostenmodell sowohl die absolute Performance als auch die relative Rangfolge von Algorithmen deutlich verändern kann.11

Das ist für Universal-Portfolio- und Kelly-nahe Strategien zentral. Beide Denkrichtungen arbeiten oft mit häufigen Anpassungen von Gewichten; gerade dann können Turnover, Bid-Ask-Spreads und Markteinfluss den theoretischen Vorteil aufzehren.

Ein vereinfachtes Selbstfinanzierungsmodell lautet:

[
W_t=W_{t-1}(1-c_t)w_t^\top x_t,
]

wobei (c_t) die Kostenquote der Umschichtung bezeichnet. Der Netto-Log-Reward wird dann zu

[
r_t=\log(w_t^\top x_t)+\log(1-c_t).
]

Die Konsequenz für Forschung und Entwicklung: Kosten dürfen nicht erst am Ende pauschal von der Backtest-Rendite abgezogen werden. Sie müssen im Training, in der Portfolio-Transition und in der Ausführungslogik abgebildet sein.11

Praktischer Forschungsplan für Quant-Teams

Ein belastbares Projekt sollte nicht mit einem end-to-end trainierten Trading-Agenten beginnen, sondern mit gestuften Benchmarks:

1. Theoretische Basis reproduzieren: Vermögensdynamik, Best-Constant-Rebalanced-Portfolio und eine Kelly-Umgebung mit analytischer Lösung implementieren.
2. Allokatoren fair vergleichen: Gleichgewichtung, feste Allokation, approximiertes Universal Portfolio, VB-FTRL und DRL unter identischen Daten-, Risiko- und Kostenannahmen testen.7
3. Ausführbarkeit prüfen: Strikte Out-of-Sample-Tests, verzögerte Signale, realistische Gebühren, Impact-Sensitivitäten, Liquiditätslimits und Stressphasen einbauen.11
4. DRL nur dort einsetzen, wo Dynamik Mehrwert schafft: etwa bei zustandsabhängigen Kosten, Regimewechseln, Ausführungsrestriktionen oder Pfadabhängigkeiten.

Als ergänzende Engineering-Lektüre kann die an der NYU Stern bereitgestellte Arbeit Online Quantitative Trading Strategies dienen. Sie beschreibt eine Monte-Carlo-Approximation von Covers Universal Portfolio und macht damit den Übergang von der kontinuierlichen Theorie zur praktischen Simulation greifbar.10

Fazit

Die aktuelle Forschung macht Cover nicht obsolet – sie macht seine Ideen nützlicher als Benchmark und Architekturprinzip. VB-FTRL adressiert die Berechenbarkeit des Online-Portfolio-Problems.7 Kelly-basierte DRL-Studien schaffen kontrollierbare Testumgebungen mit analytischen Referenzen.14 Und realistischere Impact-Modelle erinnern daran, dass eine Strategie erst dann relevant ist, wenn sie nach Kosten und unter Ausführungsrestriktionen besteht.11

Der überzeugendste Forschungsansatz lautet daher nicht „DRL gegen Universal Portfolio“. Er lautet: Welchen zusätzlichen, messbaren Nutzen liefert DRL gegenüber einer starken Online-Wachstumsbenchmark, wenn Informationen, Restriktionen und Kosten identisch sind?

Quellen

7 Efficient and Near-Optimal Online Portfolio Selection – https://arxiv.org/pdf/2209.13932v2
8 Cover's universal portfolio, stochastic portfolio theory and the numeraire portfolio – https://arxiv.org/html/1611.09631v1
10 Online Quantitative Trading Strategies – https://www.stern.nyu.edu/sites/default/files/2025-05/Glucksman_Lahanis.pdf
11 Realistic Market Impact Modeling for Reinforcement Learning – https://arxiv.org/html/2603.29086v1
14 Evaluation of Deep Reinforcement Learning Algorithms for Portfolio Optimisation – https://arxiv.org/pdf/2307.07694
16 High order universal portfolios – https://arxiv.org/abs/2311.13564