Universal Portfolio et croissance optimale : les pistes les plus solides pour la recherche quantitative

L’essentiel

Au cours des cinq dernières années, les développements les plus convaincants autour de Thomas M. Cover ne consistent pas à rebaptiser un modèle de deep learning en « Universal Portfolio ». Ils suivent plutôt trois axes : rendre l’allocation universelle calculable via l’optimisation convexe en ligne (OCO), utiliser la croissance logarithmique de Kelly comme objectif et étalon pour le renforcement profond (DRL), puis intégrer les coûts et l’impact de marché dans l’évaluation.71411

Ces pistes ont une valeur réelle pour la recherche quantitative, notamment pour l’allocation entre actifs ou entre stratégies. En revanche, les sources disponibles ne permettent pas d’affirmer qu’une combinaison « Universal Portfolio + DRL » produit déjà un surcroît de performance stable et reproductible en conditions réelles.71411

Ne pas confondre Universal Portfolio, Kelly et DRL

Le Universal Portfolio de Cover se compare au meilleur portefeuille à poids fixes, rééquilibré et choisi a posteriori. Sa propriété de long terme est dite universelle parce qu’elle ne suppose pas un modèle stochastique préalable pour le marché.8

L’investissement à croissance optimale, souvent associé au critère de Kelly, vise quant à lui à maximiser la croissance logarithmique de la richesse. Des travaux récents en DRL utilisent explicitement cette utilité logarithmique pour formuler et évaluer l’optimisation de portefeuille.14

Dans un cadre sans coûts de transaction, avec des prix relatifs $x_t$ et des poids $w_t$, la richesse est :

$$
W_T=W_0\prod_{t=1}^{T} w_t^\top x_t.
$$

On peut écrire la perte en ligne comme suit :

$$
\ell_t(w)=-\log(w^\top x_t).
$$

L’écart cumulé à la meilleure allocation fixe rétrospective devient alors :

$$
R_T=
\sum_{t=1}^{T}\ell_t(w_t)

\min_{w\in\Delta_d}\sum_{t=1}^{T}\ell_t(w)

\log\frac{W_T^\star}{W_T}.
$$

C’est le point de jonction entre les domaines : l’OCO analyse la différence de croissance logarithmique face à un benchmark fixe, Kelly définit un objectif de croissance, et le DRL peut être employé pour rechercher une politique dynamique. Mais les garanties théoriques ne sont pas interchangeables.7814

La référence OCO : VB-FTRL pour l’allocation en ligne

L’article Efficient and Near-Optimal Online Portfolio Selection de Rémi Jézéquel, Dmitrii M. Ostrovskii et Pierre Gaillard est la source la plus directement liée à la problématique de Cover parmi les travaux récents.7

Les auteurs présentent VB-FTRL (Volumetric-Barrier enhanced Follow-The-Regularized-Leader), un algorithme d’allocation en ligne qui conserve essentiellement la garantie de regret des portefeuilles universels — à une constante près et avec le remplacement de $\log(T)$ par $\log(T+d)$ — tout en réduisant fortement le coût de calcul.7 La borne de temps annoncée par tour est :

$$
\widetilde{O}(d^2(T+d)).
$$

Pourquoi c’est important en pratique

Le Universal Portfolio classique repose sur une moyenne pondérée par la performance sur un continuum de portefeuilles constants. Cette construction est élégante, mais coûteuse à calculer. VB-FTRL transforme le problème en un algorithme d’apprentissage en ligne avec une structure d’optimisation et une analyse de complexité explicites.7

L’usage le plus naturel est une couche d’allocation de capital : répartition entre classes d’actifs, facteurs, secteurs ou stratégies déjà construites. Ce résultat théorique ne prouve pas pour autant une aptitude immédiate au trading à haute fréquence : latence, stabilité numérique, mémoire, contraintes de liquidité et coûts de transaction doivent être évalués séparément.

Kelly et DRL : un cadre utile pour vérifier les agents

L’étude Evaluation of Deep Reinforcement Learning Algorithms for Portfolio Optimisation relie explicitement le critère de Kelly et le DRL.14 Les auteurs évaluent des algorithmes de renforcement sur des données simulées, avec la croissance logarithmique comme objectif.

L’intérêt méthodologique est central : dans un environnement sans impact de marché, une politique optimale peut être dérivée analytiquement. Elle sert ensuite de plafond de référence lorsque l’impact de marché est introduit.14

Autrement dit, cette démarche répond à une question préalable souvent négligée : l’agent apprend-il la bonne décision quand la bonne réponse est connue ?

Les résultats rapportés montrent que DDPG, TD3 et SAC rencontrent des difficultés à apprendre la bonne fonction de valeur dans ce cadre bruité, tandis que PPO et A2C, avec l’estimation généralisée de l’avantage, se comportent mieux.14 Cela reste une preuve dans un environnement contrôlé, pas une démonstration de rentabilité sur les marchés réels.

Les portefeuilles universels d’ordre supérieur : les stratégies comme actifs

Le prépublication High order universal portfolios propose d’ajouter le Universal Portfolio lui-même au marché comme actif synthétique, puis de construire récursivement des portefeuilles universels d’ordre supérieur.16

Les auteurs montrent notamment que ces constructions diffèrent du portefeuille universel de Cover et peuvent rompre l’invariance par permutation temporelle.16

Pour l’ingénierie quantitative, l’idée suggère un cadre de méta-allocation : au lieu de ne répartir le capital qu’entre actions ou ETF, il devient possible de répartir l’exposition entre flux de performance de stratégies — tendance, retour à la moyenne, arbitrage, portage ou autres mandats.

Cette transposition doit toutefois être faite avec prudence. Chaque stratégie synthétique doit intégrer ses coûts internes ; l’allocation de second niveau doit aussi traiter les positions communes, le netting, le financement et les contraintes de capacité. Une collection de backtests séduisants ne constitue pas automatiquement un univers d’actifs négociables sans friction.

Les coûts de transaction peuvent changer le verdict

Le préprint Realistic Market Impact Modeling for Reinforcement Learning apporte un avertissement décisif : le modèle de coûts influence non seulement la performance absolue, mais aussi le classement relatif des algorithmes de DRL.11

Les résultats rapportés illustrent ce point : dans l’environnement d’actions étudié, PPO optimisé affiche 20 % de rendement hors échantillon et un Sharpe de 1,06 dans le modèle de référence, puis 15 % avec le modèle Almgren-Chriss, tandis que TD3 passe de 15 % à 18 %.11

Ce travail n’est pas une extension directe de Cover. Il est néanmoins indispensable pour juger si une stratégie à croissance optimale est réellement négociable. Une méthode peut sembler supérieure en backtest simplement parce que les hypothèses de coût favorisent son profil de rotation.11

Comment structurer un protocole de recherche crédible

Un protocole robuste devrait distinguer trois niveaux :

1. Validation théorique : reproduire la dynamique de richesse, le meilleur portefeuille fixe rétrospectif et un environnement Kelly à solution analytique.
2. Comparaison équitable : confronter allocation fixe, approximation du Universal Portfolio, VB-FTRL et allocateur DRL avec les mêmes données, contraintes et coûts.
3. Test de négociabilité : imposer une validation strictement hors échantillon et analyser fuite d’information, calendrier d’exécution, sensibilité aux coûts, capacité et scénarios de rupture.

Avec un coût $c_t$ exprimé comme fraction de la richesse avant transaction, un modèle simplifié est :

$$
W_t=W_{t-1}(1-c_t)w_t^\top x_t,
\qquad 0\leq c_t<1.
$$

La récompense nette de croissance est alors :

$$
r_t=\log(w_t^\top x_t)+\log(1-c_t).
$$

Si le coût dépend du volume réellement échangé, il faut partir des poids après mouvement de prix :

$$
\widetilde{w}{t-1,i}=
\frac{w{t-1,i}x_{t-1,i}}
{w_{t-1}^\top x_{t-1}}.
$$

Cela évite de confondre variation de poids cible et volume effectivement nécessaire au rééquilibrage. Ce modèle reste simplifié : impact, emprunt de titres, financement, granularité des ordres et contraintes de marché exigent des traitements additionnels.

Ce qui a le plus de valeur aujourd’hui

La question de recherche la plus utile n’est probablement pas « le deep learning peut-il battre le Universal Portfolio ? ». Elle est plutôt : dans quelles conditions un agent DRL apporte-t-il une information ou une décision dynamique que ne capture pas une base OCO ou Kelly bien spécifiée ?

Le DRL devient plus justifié lorsqu’il exploite effectivement des états intertemporels, des contraintes d’exécution ou une dynamique d’impact. Sans cette valeur ajoutée identifiable, une référence d’allocation en ligne plus simple, interprétable et vérifiable constitue souvent un point de départ plus solide.714

Limites de preuve

• La garantie de Cover concerne le meilleur portefeuille fixe rééquilibré choisi rétrospectivement, et non toute stratégie dynamique imaginable.8
• Un gain de complexité théorique pour VB-FTRL ne démontre pas, à lui seul, une adéquation à un système de production.7
• Les résultats DRL fondés sur des simulations contrôlées ne constituent pas une preuve d’alpha durable sur marché réel.14
• Les coûts et l’impact peuvent modifier le classement des modèles ; un résultat de backtest ne doit donc jamais être interprété hors de son modèle d’exécution.11
• Les éléments disponibles sont insuffisants pour conclure à une surperformance stable, indépendante et répliquée en conditions de marché réelles pour une approche combinant Universal Portfolio et DRL.

Sources principales

• 7 Efficient and Near-Optimal Online Portfolio Selection : VB-FTRL, garanties de regret et complexité.
• 8 Cover's universal portfolio, stochastic portfolio theory and the numeraire portfolio : définition du benchmark fixe rééquilibré et caractère sans modèle.
• 11 Realistic Market Impact Modeling for Reinforcement Learning : sensibilité des performances et des classements au modèle de coûts.
• 14 Evaluation of Deep Reinforcement Learning Algorithms for Portfolio Optimisation : objectif de Kelly, simulation et benchmark analytique.
• 16 High order universal portfolios : construction de portefeuilles universels d’ordre supérieur.

7: https://arxiv.org/pdf/2209.13932v2
8: https://arxiv.org/html/1611.09631v1
11: https://arxiv.org/html/2603.29086v1
14: https://arxiv.org/pdf/2307.07694
16: https://arxiv.org/abs/2311.13564