Universal Portfolio, Kelly y DRL: las aplicaciones que más importan en la ingeniería cuantitativa actual

La idea clave: Cover, Kelly y DRL se complementan, pero no son lo mismo

La conexión entre Universal Portfolio, inversión de crecimiento óptimo y aprendizaje por refuerzo profundo (DRL) es prometedora, aunque conviene evitar una simplificación frecuente: usar una recompensa logarítmica en un agente DRL no le concede automáticamente las garantías teóricas del Universal Portfolio de Thomas M. Cover.

El Universal Portfolio compara una estrategia online con la mejor cartera de pesos constantes y rebalanceada elegida retrospectivamente. Su propiedad clásica es model-free: no requiere asumir de antemano un proceso estocástico concreto para el mercado.8 En cambio, el criterio de Kelly o crecimiento óptimo busca maximizar el crecimiento logarítmico de la riqueza. DRL puede utilizar ese objetivo para aprender una política dinámica, pero sigue necesitando demostrar que su entrenamiento, su entorno y su ejecución son correctos.14

Bajo un modelo sin costes, con vector de relativos de precios (x_t) y pesos (w_t), la riqueza evoluciona como:

$$
W_T=W_0\prod_{t=1}^{T}w_t^\top x_t.
$$

La pérdida online asociada es:

$$
\ell_t(w)=-\log(w^\top x_t).
$$

Si (W_T^\star) es la riqueza de la mejor cartera constante elegida a posteriori, el regret acumulado puede expresarse como:

$$
\sum_{t=1}^{T}\ell_t(w_t)-\min_{w\in\Delta_d}\sum_{t=1}^{T}\ell_t(w)
=\log\frac{W_T^\star}{W_T}.
$$

Esta identidad es el puente natural entre tres áreas: la optimización convexa online (OCO), que controla la distancia frente a una referencia fija; la inversión de crecimiento óptimo, que prioriza la riqueza compuesta; y DRL, que puede aprender decisiones dependientes del estado. Comparten estructura matemática, pero sus garantías no son intercambiables.7814

1. VB-FTRL: la extensión reciente más relevante de Universal Portfolio

El trabajo Efficient and Near-Optimal Online Portfolio Selection de Rémi Jézéquel, Dmitrii M. Ostrovskii y Pierre Gaillard propone VB-FTRL (Volumetric-Barrier enhanced Follow-The-Regularized-Leader), un algoritmo de selección de carteras online que preserva esencialmente la garantía de regret de Universal Portfolio, con diferencias de constantes y el reemplazo de (\log(T)) por (\log(T+d)).7

La aportación de ingeniería es importante: el artículo reporta un tiempo de ejecución por ronda de

$$
\widetilde{O}(d^2(T+d)),
$$

donde (d) es la dimensión de la cartera y (T) el número de rondas.7

¿Por qué importa? El Universal Portfolio clásico promedia sobre un continuo de carteras constantes ponderadas por su desempeño histórico. Esa integración es elegante, pero puede resultar costosa. VB-FTRL convierte el problema en una arquitectura de optimización online con una regularización basada en la geometría local de la pérdida logarítmica.7

Uso práctico más defendible: emplearlo como referencia de asignación de capital entre activos, sectores, señales o estrategias ya existentes. No debe interpretarse, sin embargo, como prueba de que sea apto sin cambios para trading de alta frecuencia: la complejidad asintótica no sustituye las pruebas de latencia, memoria, estabilidad numérica, restricciones de liquidez ni costes reales de negociación.

2. Kelly + DRL: un marco para comprobar si el agente realmente aprende

La literatura de DRL para optimización de carteras suele sufrir un problema básico: una curva de capital atractiva no permite saber si el agente descubrió una pauta real, explotó un defecto del simulador o se benefició de supuestos favorables de costes y apalancamiento.

El estudio Evaluation of Deep Reinforcement Learning Algorithms for Portfolio Optimisation aborda esa dificultad de una forma especialmente útil. Evalúa algoritmos de DRL con datos simulados y utiliza el criterio de Kelly —utilidad logarítmica— como objetivo. En ausencia de impacto de mercado, deriva una política óptima analítica, que sirve como cota de referencia al incorporar impacto.14

Ese diseño aporta una pregunta verificable antes del backtest histórico:

Si conocemos la política óptima en un entorno controlado, ¿es capaz el algoritmo de aprendizaje de aproximarla?

Los autores señalan que los algoritmos off-policy DDPG, TD3 y SAC tienen dificultades para aprender la función (Q) correcta con recompensas ruidosas, mientras que PPO y A2C, con estimación de ventaja generalizada, manejan mejor ese ruido en el entorno evaluado.14

La utilidad de este resultado no es coronar a un algoritmo como ganador universal. Es ofrecer un protocolo de validación: comprobar primero la función de recompensa, el orden temporal de las operaciones, la contabilidad de riqueza y la implementación del entorno; solo después pasar a datos de mercado.

3. High-order Universal Portfolios: tratar estrategias como activos

High order universal portfolios explora una extensión directa del planteamiento de Cover: añade un Universal Portfolio ya construido como activo sintético al mercado y, de forma recursiva, construye Universal Portfolios de orden superior.16

Los autores muestran que estas construcciones son distintas del Universal Portfolio original y pueden romper la invariancia ante permutaciones temporales.16

La lectura aplicada es interesante para la gestión cuantitativa moderna: además de repartir capital entre acciones o futuros, puede repartirse entre flujos de retorno de estrategias —por ejemplo, tendencia, reversión a la media, carry o arbitraje— siempre que esos flujos sean realmente invertibles y se contabilicen sus costes internos.

Aquí está la principal cautela: una cartera de estrategias no equivale a una cesta de series de backtest. Deben modelarse el solapamiento de posiciones, la compensación neta de órdenes, el uso de margen, los límites de capacidad y los costes generados dentro de cada subestrategia. La extensión teórica no prueba por sí sola una ventaja neta tras fricciones.16

4. El impacto de mercado puede cambiar qué algoritmo parece mejor

Para convertir estas ideas en ingeniería de trading, los costes deben entrar en el diseño experimental desde el principio. El preprint Realistic Market Impact Modeling for Reinforcement Learning concluye que el modelo de costes afecta materialmente tanto al rendimiento absoluto como al ranking relativo de algoritmos en varios entornos.11

En su ejemplo de trading de acciones, PPO optimizado obtiene un 20 % de retorno fuera de muestra bajo el modelo base, pero cae al 15 % bajo un modelo de impacto Almgren-Chriss; TD3, en cambio, pasa del 15 % al 18 % en esa comparación concreta.11

La conclusión metodológica es más importante que los porcentajes puntuales: un algoritmo puede encabezar un backtest porque el modelo de costes favorece su patrón de rotación, no necesariamente porque sus decisiones de inversión sean superiores.

Para investigar una estrategia basada en Kelly, OCO o DRL, conviene separar al menos tres capas:

• Entorno sin costes, para verificar que la matemática y el código reproducen el comportamiento esperado.
• Entorno con comisiones y diferencial, para medir sensibilidad a la rotación.
• Entorno con impacto, restricciones de ejecución y capacidad, para evaluar si el resultado sigue siendo operable al escalar.

No basta con entrenar sin fricciones y restar después una comisión fija a la curva final.

5. Cómo incluir costes en una recompensa de crecimiento

Si (c_t) representa el coste de transacción como fracción de la riqueza previa a la operación, un modelo simplificado de autofinanciación es:

$$
W_t=W_{t-1}(1-c_t)w_t^\top x_t,
\qquad 0\le c_t<1.
$$

La recompensa neta de crecimiento queda entonces como:

$$
r_t=\log(w_t^\top x_t)+\log(1-c_t).
$$

Cuando el coste depende del volumen negociado, no conviene calcularlo simplemente con el cambio entre pesos objetivo. Tras el movimiento de precios, los pesos efectivos sin operar son:

$$
\widetilde{w}{t-1,i}=
\frac{w{t-1,i}x_{t-1,i}}
{w_{t-1}^\top x_{t-1}}.
$$

La diferencia entre (\widetilde{w}_{t-1}) y el nuevo objetivo (w_t) se aproxima mejor a la operación que debe realizarse. Aun así, este modelo no cubre por completo impacto de mercado, financiación, préstamo de valores, discretización de órdenes o restricciones de participación.

6. Dónde está el verdadero valor de investigación

La aplicación más sólida de estos avances no es prometer un agente que “bata al mercado”, sino construir una jerarquía de referencias transparentes:

1. Referencia OCO: ¿cuánta riqueza logarítmica se pierde frente a la mejor cartera constante elegida retrospectivamente?
2. Referencia Kelly en simulación: ¿puede el agente aproximar una política óptima analítica cuando la estructura del entorno es conocida?14
3. Referencia de ejecución: ¿se conserva el resultado con costes, impacto, retrasos y límites de capacidad?11
4. Referencia de asignación: ¿aporta DRL valor incremental frente a una regla online de crecimiento óptimo, una aproximación de Universal Portfolio o VB-FTRL bajo exactamente las mismas restricciones?7

Este enfoque reduce el espacio para conclusiones engañosas. Si un modelo profundo supera a un benchmark sencillo, debe mostrar de dónde proviene esa mejora: información de estado útil, adaptación temporal real, mejor control de ejecución o una hipótesis de mercado comprobable.

Límites de la evidencia actual

• La universalidad de Cover se refiere a la mejor cartera constante rebalanceada elegida a posteriori, no a todas las estrategias dinámicas imaginables.8
• Una mejora de complejidad teórica en VB-FTRL no prueba desempeño operativo en producción.7
• Los resultados de Kelly + DRL en simulación son muy útiles para validar algoritmos, pero no demuestran rentabilidad en mercados reales.14
• El modelo de costes puede alterar el ranking de algoritmos; por ello, el rendimiento histórico no debe interpretarse sin especificar el modelo de ejecución.11
• No hay evidencia suficiente en las fuentes revisadas para afirmar que la combinación de Universal Portfolio y DRL produzca de forma estable alfa neto, replicable e independiente en capital real.

Hoja de ruta recomendada para un proyecto cuantitativo

1. Reproducir las referencias: implementar la dinámica de riqueza, la mejor cartera constante retrospectiva y un entorno Kelly con solución analítica.
2. Comparar asignadores con igualdad de condiciones: cartera fija, aproximación de Universal Portfolio, VB-FTRL y un asignador DRL deben recibir la misma información, los mismos límites y la misma definición de costes.7
3. Auditar robustez: usar separación temporal estricta, sensibilidad a costes, revisión de fugas de datos, pruebas de rotación, escenarios de estrés y análisis de capacidad.
4. Aislar el aporte de DRL: comprobar si el agente aprovecha estados intertemporales y restricciones de ejecución que un método OCO no puede capturar, en lugar de atribuir la mejora a una red más grande.

La pregunta más productiva no es “¿puede DRL superar a Universal Portfolio?”, sino: bajo los mismos costes y restricciones, qué parte de la mejora de DRL procede de información y control económico reales, y qué parte procede del diseño del entorno o del backtest?

Fuentes

7: https://arxiv.org/pdf/2209.13932v2

8: https://arxiv.org/html/1611.09631v1

11: https://arxiv.org/html/2603.29086v1

14: https://arxiv.org/pdf/2307.07694

16: https://arxiv.org/abs/2311.13564