Universal Portfolio, Kelly e DRL: aplicações recentes na engenharia quantitativa

O que mudou na fronteira recente

As ideias de Thomas M. Cover continuam muito relevantes, mas a aplicação moderna não se resume a tentar prever o próximo preço com redes neurais. As linhas mais promissoras conectam três problemas diferentes:

• Universal Portfolio: competir, ao longo do tempo, com a melhor carteira de pesos fixos escolhida apenas em retrospecto;
• investimento de crescimento ótimo/Kelly: maximizar o crescimento composto via utilidade logarítmica;
• aprendizado sequencial: usar otimização convexa online (OCO) ou aprendizado por reforço profundo (DRL) para tomar decisões de alocação sob informação incompleta.

O ponto central é que esses conceitos compartilham uma estrutura matemática, mas não oferecem a mesma garantia. O Universal Portfolio clássico se compara à melhor carteira de rebalanceamento com pesos constantes escolhida depois de observar a trajetória do mercado; ele não garante superar qualquer estratégia dinâmica nem promete lucro no curto prazo. 8

A ponte matemática: crescimento logarítmico e regret online

Se $x_t$ representa os relativos de preço dos ativos no período $t$ e $w_t$ os pesos da carteira, então, em um cenário sem custos e com patrimônio positivo:

$$
W_T = W_0 \prod_{t=1}^{T} w_t^\top x_t.
$$

A perda online associada ao crescimento do patrimônio pode ser escrita como:

$$
\ell_t(w) = -\log(w^\top x_t).
$$

Assim, a diferença de perda acumulada em relação à melhor carteira fixa escolhida retrospectivamente equivale à diferença de riqueza em escala logarítmica:

$$
R_T = \sum_{t=1}^{T}\ell_t(w_t)

• \min_{w\in\Delta_d}\sum_{t=1}^{T}\ell_t(w)
  = \log\frac{W_T^\star}{W_T}.
  $$

É esse elo que torna a OCO especialmente útil: ela transforma a busca por crescimento composto em um problema de decisão sequencial com uma métrica objetiva de comparação. Já o DRL pode aprender políticas dinâmicas, mas não herda automaticamente a garantia de universalidade de Cover só porque usa recompensa logarítmica. 7814

VB-FTRL: um avanço direto para Universal Portfolio

O trabalho Efficient and Near-Optimal Online Portfolio Selection apresenta o VB-FTRL (Volumetric-Barrier enhanced Follow-The-Regularized-Leader), um algoritmo voltado diretamente ao problema de seleção online de portfólios. 7

A contribuição é relevante porque o Universal Portfolio original exige, em essência, agregar uma quantidade contínua de carteiras de pesos fixos, ponderadas por seu desempenho passado. Isso é elegante teoricamente, mas pode ser pesado computacionalmente.

Segundo o artigo, o VB-FTRL mantém uma garantia de regret essencialmente comparável à dos Universal Portfolios — com ajuste de $\log(T)$ para $\log(T+d)$ — e reporta custo por rodada de:

$$
\widetilde{O}(d^2(T+d)).
$$

onde $d$ é a dimensão da carteira e $T$ o número de períodos. 7

Por que isso interessa na prática?

O melhor uso potencial não é necessariamente operar ações em alta frequência. É mais natural tratá-lo como um motor de alocação online para:

• distribuir capital entre classes de ativos;
• combinar estratégias já existentes, como tendência, reversão à média e carry;
• realocar risco entre carteiras setoriais ou fatores;
• estabelecer uma linha de base forte para comparar modelos de machine learning.

A ressalva é essencial: uma melhoria de complexidade teórica não prova viabilidade em produção. Latência, estabilidade numérica, memória, rebalanceamentos, custos e restrições de liquidez continuam exigindo testes próprios. 7

Kelly e DRL: mais valor como ambiente de validação do que como promessa de alfa

O estudo Evaluation of Deep Reinforcement Learning Algorithms for Portfolio Optimisation usa o critério de Kelly — isto é, utilidade logarítmica — para avaliar algoritmos de DRL em dados simulados. 14

Seu diferencial é metodológico: sem impacto de mercado, os autores conseguem derivar uma política ótima analítica. Essa solução funciona como um teto ou referência para avaliar até que ponto agentes de DRL aprendem a decisão correta quando se introduzem fricções de mercado. 14

Isso responde a uma pergunta que muitos backtests não conseguem responder:

Se a solução correta é conhecida em um ambiente controlado, o algoritmo consegue aprendê-la?

Esse tipo de teste ajuda a detectar problemas de implementação, como recompensa mal definida, vazamento de informação, cronologia incorreta das ordens, alavancagem implícita ou custos omitidos.

O estudo também indica que, em seu ambiente, DDPG, TD3 e SAC tiveram dificuldade para aprender a função $Q$ correta sob recompensas ruidosas, enquanto PPO e A2C, com generalized advantage estimation, lidaram melhor com esse cenário. 14

Isso não é uma recomendação universal de algoritmo. É evidência de que a escolha do método depende fortemente do ambiente, da formulação de recompensa e do tratamento de ruído.

Universal Portfolios de ordem superior: estratégias como ativos

O artigo High order universal portfolios propõe uma extensão conceitual interessante: adicionar o próprio Universal Portfolio ao mercado como um ativo sintético e, a partir daí, construir portfólios universais de ordem superior. 16

Os autores mostram que essas construções diferem do Universal Portfolio de Cover e podem quebrar uma propriedade de invariância à permutação temporal. 16

Para pesquisa aplicada, a interpretação mais útil é a de “estratégias como ativos”. Em vez de alocar apenas entre ações ou ETFs, uma camada superior pode alocar entre fluxos de retorno gerados por estratégias negociáveis.

Mas essa adaptação exige cuidado. Cada estratégia subjacente deve incluir:

• custos de suas próprias operações;
• exposição líquida e bruta;
• eventual sobreposição de posições com outras estratégias;
• financiamento, aluguel de ativos e limites de capacidade;
• efeito de netting entre ordens.

Não é correto tratar várias curvas de backtest atraentes como se fossem ativos independentes, líquidos e sem fricção.

Custos e impacto de mercado podem inverter o resultado

Uma das mensagens mais importantes da literatura recente não vem de uma extensão direta de Cover, mas do trabalho sobre modelagem realista de impacto de mercado para RL. O estudo relata que o modelo de custos altera tanto o desempenho absoluto quanto o ranking relativo dos algoritmos. 11

Em um dos exemplos apresentados, PPO otimizado teve o melhor resultado fora da amostra sob o modelo-base, mas seu retorno caiu sob o modelo Almgren-Chriss, enquanto TD3 melhorou relativamente. 11

A lição para qualquer pesquisa com Universal Portfolio, Kelly ou DRL é simples: não basta descontar uma taxa fixa no fim do backtest.

Um protocolo mais robusto deveria separar ao menos três camadas:

1. Ambiente sem custos: para verificar coerência com a teoria e a implementação.
2. Custos explícitos de negociação: para medir sensibilidade ao giro de carteira.
3. Impacto, liquidez e execução: para avaliar se a estratégia continua negociável quando o capital cresce.

Como formular uma recompensa de crescimento líquido

Se $c_t$ é a fração da riqueza consumida por custos de negociação no período, uma versão simplificada do patrimônio líquido é:

$$
W_t = W_{t-1}(1-c_t)w_t^\top x_t,
\qquad 0\leq c_t<1.
$$

A recompensa de crescimento líquido correspondente é:

$$
r_t = \log(w_t^\top x_t)+\log(1-c_t).
$$

Se os custos dependerem do giro, o cálculo deve partir dos pesos efetivamente carregados após a variação dos preços, e não apenas da diferença entre dois vetores-alvo. Sem negociações intermediárias, o peso pré-rebalanceamento é:

$$
\widetilde{w}{t-1,i} =
\frac{w{t-1,i}x_{t-1,i}}
{w_{t-1}^\top x_{t-1}}.
$$

Essa distinção evita superestimar ou subestimar o volume negociado. Ainda assim, o modelo não cobre automaticamente spread, impacto, empréstimo de ações, margem, lotes discretos e restrições de execução.

Onde há mais valor de pesquisa e desenvolvimento

A melhor agenda não é perguntar genericamente se “DRL vence Universal Portfolio”. Uma comparação mais útil é feita sob o mesmo conjunto de informações, custos e restrições.

Uma sequência recomendada seria:

1. Reproduzir os benchmarks: melhor carteira fixa em retrospecto, aproximação de Universal Portfolio e um ambiente Kelly com solução analítica.
2. Comparar alocadores: pesos iguais, pesos fixos, aproximação de UP, VB-FTRL e um alocador DRL.
3. Adicionar fricções progressivamente: taxas, spread, impacto, limites de giro, alavancagem e liquidez.
4. Testar fora da amostra e por regimes: mercados de alta, crises, períodos de baixa volatilidade e quebras de estratégia.
5. Explicar a origem do ganho: verificar se o DRL usa informação de estado realmente útil ou apenas explora características do simulador e do backtest.

A pergunta de maior valor prático é: sob as mesmas regras de negociação, o ganho de um agente DRL sobre uma base online de crescimento ótimo vem de informação econômica adicional ou de uma fragilidade do ambiente de teste?

Limites da evidência atual

Há avanços concretos em algoritmos online, em benchmarks de DRL e em modelagem de impacto. 7111416 Porém, a evidência disponível não sustenta afirmar que a combinação entre Universal Portfolio e DRL já gere, de forma consistente, alfa real, replicável e escalável.

Em especial:

• garantias de crescimento de longo prazo não significam lucro de curto prazo; 8
• eficiência teórica não equivale a prontidão operacional; 7
• sucesso em simulação não comprova eficácia em mercados reais; 14
• o modelo de custos pode explicar parte relevante do ranking entre estratégias. 11

Como material complementar, a NYU Stern disponibiliza uma implementação aproximada de Universal Portfolio baseada em Monte Carlo, útil como ponto de partida de engenharia e backtest. 10 Para Kelly com controle de risco, o trabalho de Stanford sobre Risk-Constrained Kelly Gambling mostra como impor uma restrição de drawdown por meio de uma formulação convexa. 13

A conclusão é menos chamativa, mas mais útil: Cover, Kelly, OCO e DRL formam uma excelente caixa de ferramentas para construir e auditar sistemas de alocação. O maior retorno de pesquisa tende a vir de benchmarks rigorosos, custos realistas e validação de execução — não da simples adição de uma rede neural a uma estratégia de portfólio.

Referências

7: https://arxiv.org/pdf/2209.13932v2
8: https://arxiv.org/html/1611.09631v1
10: https://www.stern.nyu.edu/sites/default/files/2025-05/Glucksman_Lahanis.pdf
11: https://arxiv.org/html/2603.29086v1
13: https://stanford.edu/~boyd/papers/kelly.html
14: https://arxiv.org/pdf/2307.07694
16: https://arxiv.org/abs/2311.13564