Universal Portfolio, Kelly e DRL: dove sta andando la ricerca quantitativa

Il punto chiave: non confondere Cover, Kelly e reinforcement learning

Negli ultimi cinque anni, il filone più interessante non consiste nel rivestire il Universal Portfolio di Thomas M. Cover con una rete neurale. Le direzioni più concrete sono altre: rendere più efficiente l’allocazione online, usare l’obiettivo di crescita logaritmica come banco di prova verificabile per il deep reinforcement learning (DRL) e inserire costi e impatto di mercato nella valutazione delle strategie.71411

È importante distinguere i concetti:

• Il Universal Portfolio confronta una strategia online con il miglior portafoglio a pesi costanti ribilanciato, scelto soltanto a posteriori. La sua proprietà classica è model-free rispetto a quel comparatore, non rispetto a qualunque strategia dinamica immaginabile.8
• Il criterio di Kelly, o investimento a crescita ottima, mira a massimizzare la crescita logaritmica della ricchezza.
• Il DRL è un insieme di metodi per apprendere decisioni sequenziali: adottare una ricompensa logaritmica non trasferisce automaticamente le garanzie teoriche del Universal Portfolio.814

In un modello senza costi, con vettore dei price relative $x_t$ e pesi $w_t$, la ricchezza evolve come:

$$
W_T = W_0 \prod_{t=1}^{T} w_t^\top x_t.
$$

La perdita online associata alla crescita logaritmica è:

$$
\ell_t(w)=-\log(w^\top x_t).
$$

Se $W_T^\star$ indica la ricchezza del miglior portafoglio fisso scelto ex post, il regret cumulato diventa:

$$
\sum_{t=1}^{T}\ell_t(w_t)-
\min_{w\in\Delta_d}\sum_{t=1}^{T}\ell_t(w)

\log\frac{W_T^\star}{W_T}.
$$

Questo legame è il ponte fra online convex optimization (OCO), crescita ottima e apprendimento sequenziale: l’OCO misura quanto si perde rispetto al migliore portafoglio statico retrospettivo; Kelly definisce un obiettivo di crescita; il DRL può cercare politiche dinamiche. Ma le rispettive garanzie non sono intercambiabili.7814

VB-FTRL: il progresso più diretto sul problema di Cover

Il lavoro Efficient and Near-Optimal Online Portfolio Selection di Rémi Jézéquel, Dmitrii M. Ostrovskii e Pierre Gaillard introduce VB-FTRL (Volumetric-Barrier enhanced Follow-The-Regularized-Leader), un algoritmo per l’allocazione online che conserva, in sostanza, una garanzia di regret comparabile a quella dei Universal Portfolio, con la sostituzione di $\log(T)$ con $\log(T+d)$ e un fattore costante.7

Il risultato tecnico segnalato dagli autori è una complessità per periodo di:

$$
\widetilde{O}(d^2(T+d)),
$$

con $d$ numero di asset e $T$ numero di periodi.7

Per chi sviluppa strategie quantitative, la rilevanza è soprattutto architetturale: il problema non è più soltanto calcolare un’integrazione pesata su uno spazio continuo di portafogli, ma diventa un problema di ottimizzazione online con struttura e complessità esplicite.

L’uso più naturale è come baseline per l’allocazione del capitale:

• fra asset, settori o fattori;
• fra strategie già esistenti, come trend following, mean reversion e arbitraggio;
• come confronto disciplinato per un allocatore DRL sottoposto alle stesse informazioni, agli stessi vincoli e agli stessi costi.

Va però evitato un salto logico: una migliore complessità teorica non certifica l’idoneità a sistemi di trading ad alta frequenza. Latenza, memoria, stabilità numerica, gestione degli ordini e costi reali devono essere verificati separatamente.

Kelly e DRL: prima verificare che l’agente impari il problema giusto

Lo studio Evaluation of Deep Reinforcement Learning Algorithms for Portfolio Optimisation usa dati simulati e il criterio di Kelly, cioè l’utilità logaritmica, per valutare algoritmi DRL di ottimizzazione di portafoglio.14

Il suo contributo metodologico è particolarmente utile: senza impatto di mercato, gli autori derivano analiticamente la politica ottima e la usano come riferimento superiore per valutare gli algoritmi quando viene introdotto l’impatto di mercato.14 Nel loro contesto sperimentale, gli algoritmi off-policy DDPG, TD3 e SAC incontrano difficoltà nell’apprendere la corretta funzione Q in presenza di ricompense rumorose, mentre PPO e A2C, con generalized advantage estimation, gestiscono meglio il rumore.14

La lezione pratica non è che un algoritmo DRL sia “migliore” in assoluto. È che, prima di fidarsi di un backtest su dati storici, conviene verificare se il sistema riesce ad apprendere una soluzione nota in un ambiente controllato.

Con ricompensa pari alla crescita logaritmica, in un orizzonte finito senza trasformazioni ulteriori della ricompensa:

$$
\sum_{t=1}^{T}\log\frac{W_t}{W_{t-1}}

\log\frac{W_T}{W_0}.
$$

L’obiettivo di training resta quindi direttamente leggibile in termini di ricchezza composta. Ma clipping delle ricompense, bonus entropici, penalità di rischio o fattori di sconto modificano l’obiettivo: non è più corretto dire genericamente che il modello “massimizza la crescita di lungo periodo”.

High-order Universal Portfolios: trattare le strategie come asset

Il preprint High order universal portfolios studia cosa accade quando un Universal Portfolio viene aggiunto al mercato come asset sintetico e il processo viene ripetuto, costruendo portafogli universali di ordine superiore.16

Gli autori mostrano che tali costruzioni sono diverse dal Universal Portfolio originario e possono rompere l’invarianza rispetto alla permutazione temporale.16 Sul piano ingegneristico, l’idea è interessante perché suggerisce una struttura a due livelli:

1. generare rendimenti con sotto-strategie investibili;
2. allocare dinamicamente il capitale fra queste sotto-strategie.

È una prospettiva utile per un portafoglio multi-strategy, ma non equivale a una prova di superiorità live. Per essere credibile, ogni rendimento sintetico deve già includere costi interni; il livello di allocazione deve poi affrontare sovrapposizioni di posizioni, netting, leva, liquidità e capitale assorbito.

Il test decisivo: costi e impatto di mercato

Il lavoro Realistic Market Impact Modeling for Reinforcement Learning riporta che il modello di costo influenza non solo la performance assoluta, ma anche il ranking relativo degli algoritmi in diversi ambienti.11 Nel caso azionario analizzato, ad esempio, PPO ottimizzato ottiene il miglior risultato out-of-sample nel modello base, ma la sua performance cambia con l’adozione di un modello di impatto Almgren-Chriss, mentre TD3 migliora relativamente.11

Non è un’estensione diretta del teorema di Cover, ma è essenziale per giudicare se una strategia di crescita ottima sia effettivamente negoziabile. Un algoritmo può apparire vincente perché il modello dei costi premia il suo profilo di turnover, non perché le sue decisioni di investimento siano intrinsecamente migliori.11

Un protocollo minimo dovrebbe quindi distinguere:

• ambiente senza costi, per controllare coerenza teorica e implementazione;
• costi espliciti, per misurare la sensibilità al turnover;
• impatto, ritardi e vincoli esecutivi, per valutare la scalabilità operativa.

In un modello semplificato, se $c_t$ è il costo come quota della ricchezza pre-trade:

$$
W_t=W_{t-1}(1-c_t)w_t^\top x_t,
\qquad 0\leq c_t<1,
$$

la ricompensa netta coerente è:

$$
r_t=\log(w_t^\top x_t)+\log(1-c_t).
$$

Se i costi dipendono dal volume negoziato, il confronto va fatto con i pesi effettivi dopo il movimento dei prezzi, non solo con la variazione dei pesi-obiettivo:

$$
\widetilde{w}{t-1,i}=
\frac{w{t-1,i}x_{t-1,i}}
{w_{t-1}^\top x_{t-1}}.
$$

È ancora una semplificazione: non copre automaticamente prestito titoli, finanziamento, spread dinamici, impatto non lineare o vincoli di esecuzione discreta.

Dove il valore di ricerca è più alto

Per la ricerca quantitativa, il valore maggiore di questi sviluppi sta nella possibilità di costruire confronti più severi e riproducibili.

Domanda	Benchmark più adatto
Quanto costa la decisione online rispetto al miglior portafoglio statico scelto ex post?	Universal Portfolio / OCO
Un agente DRL sa imparare una politica corretta quando la soluzione è nota?	Ambiente Kelly con soluzione analitica
Il vantaggio resta in piedi dopo costi, impatto e limiti operativi?	Backtest con modello esecutivo esplicito

Il miglior impiego del DRL non è necessariamente sostituire ogni regola di allocazione. Prima va dimostrato che sfrutta informazioni aggiuntive: stato intertemporale, regime di liquidità, vincoli d’esecuzione oppure impatto di mercato. In assenza di questo valore incrementale, una baseline OCO o Kelly ben specificata può essere più trasparente e più facile da diagnosticare.714

Cosa non è ancora dimostrato

Le evidenze disponibili non permettono di concludere che “Universal Portfolio + DRL” produca extra-rendimenti reali stabili e replicabili.

I limiti principali sono chiari:

• il Universal Portfolio compete con il miglior portafoglio a pesi fissi scelto retrospettivamente, non con tutte le strategie dinamiche possibili.8
• le garanzie di regret e di complessità non sono una certificazione di prontezza produttiva.7
• i risultati DRL basati su simulazione sono preziosi per validare gli algoritmi, ma non sono una prova di redditività nei mercati reali.14
• costi e impatto possono cambiare il vincitore apparente di un confronto fra algoritmi.11

Come materiale complementare, il documento di NYU Stern Online Quantitative Trading Strategies descrive un’approssimazione Monte Carlo del Universal Portfolio dovuta a vincoli computazionali.10 È un utile ponte verso l’implementazione, ma non va trattato come equivalente a una validazione peer-reviewed o live.

Una roadmap operativa prudente

Un percorso di ricerca solido può seguire tre passaggi:

1. Riprodurre i benchmark: dinamica della ricchezza, miglior portafoglio fisso ex post e ambiente Kelly con politica analitica nota.
2. Confrontare gli allocatori a parità di condizioni: equal weight, pesi fissi, approssimazione del Universal Portfolio, VB-FTRL e DRL con identici dati, vincoli e costi.
3. Stressare la negoziabilità: rigoroso test fuori campione, controllo di leakage, sincronizzazione degli ordini, sensibilità ai costi, capacità e scenari di deterioramento.

La domanda più utile non è se il deep learning possa “battere” il Universal Portfolio in astratto. È questa: a parità di costi e vincoli, il vantaggio del DRL rispetto a una baseline di crescita ottima online deriva da informazione di stato realmente sfruttabile o da assunzioni dell’ambiente di backtest?

7: https://arxiv.org/pdf/2209.13932v2
8: https://arxiv.org/html/1611.09631v1
10: https://www.stern.nyu.edu/sites/default/files/2025-05/Glucksman_Lahanis.pdf
11: https://arxiv.org/html/2603.29086v1
14: https://arxiv.org/pdf/2307.07694
16: https://arxiv.org/abs/2311.13564