Cover理論の最新応用：ユニバーサル・ポートフォリオ、成長最適投資、DRLの接点

まず押さえるべき結論

Thomas M. CoverのUniversal Portfolio（ユニバーサル・ポートフォリオ）と、Kelly基準に代表される成長最適投資は、現在の量的運用研究でも重要な基準点です。ただし、近年の有望な展開は「Cover理論にDRLを付ければ高収益になる」という単純な話ではありません。

実際に注目すべき流れは、次の3つです。

1. オンライン凸最適化（OCO）によって、ユニバーサル・ポートフォリオの比較原理を計算可能なオンライン配分アルゴリズムへ近づけること。7
2. Kellyの対数効用を使い、解析解を持つ環境でDRLが本当に正しい投資行動を学べるか検証すること。14
3. 手数料・市場インパクト・執行制約を入れた時に、アルゴリズムの順位そのものが変わり得ることを検証すること。11

したがって、実務での最も自然な用途は、短期価格予測を端から端まで学習することよりも、複数資産または複数戦略への資金配分レイヤーです。

Cover、Kelly、DRLは同じものではない

Coverのユニバーサル・ポートフォリオの比較対象は、将来を見た後で選べる最良の**固定比率リバランス・ポートフォリオ（CRP）**です。重要なのは、この理論が特定の確率モデルを前提としない、いわゆるモデル非依存の長期比較である点です。8

一方、Kelly基準、すなわち成長最適投資の中心は、期待対数成長率の最大化です。資産価格相対ベクトルを $x_t$、時点 $t$ の配分を $w_t$ とし、取引コストをいったん無視すれば、期末資産は次のように書けます。

$$
W_T=W_0\prod_{t=1}^{T}w_t^\top x_t
$$

このとき、対数損失を

$$
\ell_t(w)=-\log(w^\top x_t)
$$

と置くと、オンライン最適化で用いる累積損失と資産成長は直接つながります。事後最適の固定配分 $W_T^\star$ に対する差は、

$$
\sum_{t=1}^{T}\ell_t(w_t)
-\min_{w\in\Delta_d}\sum_{t=1}^{T}\ell_t(w)

\log\frac{W_T^\star}{W_T}
$$

となります。

ここにOCO、成長最適化、DRLの接点があります。しかし、これは3者の保証が同じという意味ではありません。DRLで対数報酬を使っても、Cover型のユニバーサル性が自動的に得られるわけではないことには注意が必要です。814

最重要文献1：VB-FTRLによるオンライン資産配分の計算可能化

Rémi Jézéquel、Dmitrii M. Ostrovskii、Pierre Gaillardによる Efficient and Near-Optimal Online Portfolio Selection は、近年のCover系研究で最優先に読むべき論文です。7

同研究は、**VB-FTRL（Volumetric-Barrier enhanced Follow-The-Regularized-Leader）**を提示しています。概要によれば、ユニバーサル・ポートフォリオと本質的に同水準の後悔保証を、定数因子および $\log(T)$ から $\log(T+d)$ への置換を除いて維持しつつ、計算時間を大幅に削減します。7

報告されている1ラウンド当たりの計算量は、

$$
\widetilde{O}(d^2(T+d))
$$

です。7

なぜ実務研究に重要なのか

古典的なユニバーサル・ポートフォリオは、連続的な配分空間にある多数の固定比率ポートフォリオを、過去の成績に応じて重み付けする発想に立ちます。そのままでは高次元・長期の実装で計算が重くなりやすい問題があります。

VB-FTRLの意義は、理論的な比較基準を保ちながら、問題をより明示的なオンライン最適化として扱えるようにした点です。実務上は、以下のような用途でベースライン候補になります。

• 株式・ETF・先物などの資産間におけるオンライン配分
• トレンド、リバーサル、キャリー、裁定など複数の既存シグナル間の資金配分
• DRL型アロケーターに対する、構造の明確な比較対象

もっとも、理論上の計算量改善は、そのまま高頻度取引への適性を意味しません。レイテンシー、メモリー消費、数値安定性、銘柄入れ替え、売買コストを含めた実測評価は別途必要です。7

最重要文献2：Kelly目的でDRLを「正解の分かる環境」で試験する

Evaluation of Deep Reinforcement Learning Algorithms for Portfolio Optimisation は、DRLと成長最適投資の接点をかなり明確に扱っています。14

この研究はシミュレーション・データ上でポートフォリオ最適化を評価し、目的関数としてKelly基準、すなわち対数効用を採用しています。市場インパクトがない場合には最適方策を解析的に導出し、それを市場インパクトを入れた場合の性能評価における上限的な参照点として用いています。14

同論文の価値は、単に「DRLのリターンが高かった」と示すことではありません。むしろ、次の問いを検証可能にする点にあります。

正解が理論的に分かっている環境で、DRLエージェントは本当に正しい方策を学習できるのか。

報告では、ノイズの強い報酬のため、DDPG、TD3、SACといったオフポリシー手法は適切なQ関数を学習できない一方、一般化優位推定を用いるPPOやA2Cはノイズに対処し得るという結果が示されています。14

実装上の教訓

歴史データのバックテストに進む前に、少なくとも次を検証すべきです。

• 報酬関数が意図した純資産成長と整合しているか
• リバランスのタイミングと価格利用可能時点にリークがないか
• レバレッジ、空売り、現金制約が環境内で一貫しているか
• 解析解または単純な理論ベースラインに近づけるか

バックテストの資産曲線だけでは、利益が学習能力から来たのか、環境実装の穴、コスト欠落、暗黙のレバレッジから来たのかを区別しにくいためです。14

最重要文献3：高次ユニバーサル・ポートフォリオという「戦略を資産として扱う」発想

High order universal portfolios は、Coverのユニバーサル・ポートフォリオを市場に新たな合成資産として加え、そこから再帰的に高次のユニバーサル・ポートフォリオを構成する研究です。初版は2023年11月22日、改訂版は2025年8月16日です。16

著者らは、この高次構成が通常のCoverユニバーサル・ポートフォリオとは異なり、時間順序の置換に対する不変性を破り得ることを示しています。16

量的運用への示唆

この構成は、実務的には次の問いへ自然につながります。

• 個別株ではなく、複数のアルファ戦略を「資産」とみなせるか
• 各戦略の純損益ストリームに対し、上位レイヤーでオンライン配分できるか
• 単一の巨大なDRLエージェントより、戦略生成と資本配分を分離した方が検証しやすいか

ただし、これは研究設計への示唆であり、実取引での優位性の証明ではありません。戦略を合成資産として扱う場合、下位戦略の取引コスト、重複保有、ネット発注、証拠金・資金拘束をすべて純化した収益系列に反映する必要があります。16

市場インパクトは「最後にコストを引く」問題ではない

2026年の Realistic Market Impact Modeling for Reinforcement Learning は、コストモデルが絶対収益だけでなく、アルゴリズム間の相対順位にも影響することを示しています。11

同研究では、株式取引環境において、最適化したPPOのアウト・オブ・サンプル収益率はベースラインのコスト設定で20%、Sharpeレシオ1.06だった一方、Almgren–Chriss型の設定では15%に低下しました。対照的にTD3は15%から18%へ改善する結果が報告されています。11

この結果から得られる重要な実務上の結論は明快です。

コストなし、または単純な固定手数料の下で選んだ最良モデルが、現実的な執行モデルの下でも最良とは限らない。

CoverやKellyを基準にした戦略開発では、少なくとも以下の3段階を分けるのが望ましいでしょう。

1. 摩擦なし環境：理論・実装・学習の整合性を確認する。
2. 明示的な売買コスト環境：回転売買への感応度を測る。
3. 市場インパクトと執行制約を含む環境：容量と実取引可能性を検証する。

コストを含む対数成長報酬の最小形

時点 $t$ のコスト率を $c_t$ とし、$0\leq c_t<1$ とします。単純化した自己金融モデルでは、

$$
W_t=W_{t-1}(1-c_t)w_t^\top x_t
$$

であり、DRLやオンライン最適化に渡す純成長報酬は、

$$
r_t=\log(w_t^\top x_t)+\log(1-c_t)
$$

と書けます。

また、価格変化後かつ売買前の実際の保有比率は、

$$
\widetilde{w}_{t-1,i}

\frac{w_{t-1,i}x_{t-1,i}}
{w_{t-1}^\top x_{t-1}}
$$

です。取引量は目標ウェイト $w_t$ と前期の目標ウェイト $w_{t-1}$ の差ではなく、原則としてこの実保有比率 $\widetilde{w}_{t-1}$ から目標ウェイトへの調整として計算すべきです。

ただし、この式はあくまで簡略形です。板の厚み、部分約定、借株コスト、資金調達、離散株数、発注遅延までは表現しません。

研究・実務での推奨ワークフロー

Cover理論、OCO、DRLを比較するなら、いきなりエンドツーエンドの売買AIを作るより、次の順番が堅実です。

1. 理論ベースラインを実装する
   最良固定比率ポートフォリオ、等ウェイト、単純な再均衡戦略、Kelly型の解析解があるシミュレーション環境を整える。

2. 資金配分アルゴリズムを同条件で比較する
   Universal Portfolioの近似、VB-FTRL、固定配分、DRLアロケーターを、同じ情報集合・制約・コストモデルで比べる。710

3. 実行モデルを段階的に厳しくする
   手数料、スリッページ、インパクト、流動性制約を順に加え、モデル順位が維持されるかを確認する。11

4. DRLの増分価値を説明する
   DRLがOCO型ベースラインを上回った場合、その差がどの状態変数、時系列依存、執行判断から生じたのかを分析する。

現時点のエビデンスと限界

近年の文献からは、以下は比較的強く支持されます。

• Cover型のオンライン資産配分問題は、VB-FTRLのようなOCO手法で理論的・計算的に前進している。7
• Kellyの対数効用は、解析的参照解を利用したDRLポートフォリオ最適化の検証設計に有効である。14
• 市場インパクトの仮定は、DRL戦略の成績だけでなくモデル選択を左右し得る。11
• 高次ユニバーサル・ポートフォリオは、既存戦略を合成資産として上位レイヤーで配分する発想に理論的な刺激を与える。16

一方で、次の主張を裏づける十分な証拠はありません。

• Universal PortfolioとDRLを組み合わせれば、実運用で安定的な超過収益が得られる。
• 理論上の後悔保証が、取引コスト・市場インパクト・容量制約を含む現実の執行優位にそのまま変換される。
• シミュレーションや単一市場のバックテスト結果が、他市場・他期間・実資金へそのまま一般化できる。

Coverの理論を現代の量的金融で生かす最も有望な方向は、予測モデルの代替物として崇拝することではなく、複利成長、オンライン意思決定、比較可能なベースライン、実装摩擦を一つの検証枠組みに収めることです。

参照文献

• 7 Jézéquel, Ostrovskii, Gaillard, Efficient and Near-Optimal Online Portfolio Selection
  https://arxiv.org/pdf/2209.13932v2
• 8 Cover's universal portfolio, stochastic portfolio theory and the numeraire portfolio
  https://arxiv.org/html/1611.09631v1
• 10 Online Quantitative Trading Strategies（NYU Stern掲載資料）
  https://www.stern.nyu.edu/sites/default/files/2025-05/Glucksman_Lahanis.pdf
• 11 Realistic Market Impact Modeling for Reinforcement Learning
  https://arxiv.org/html/2603.29086v1
• 14 Evaluation of Deep Reinforcement Learning Algorithms for Portfolio Optimisation
  https://arxiv.org/pdf/2307.07694
• 16 High order universal portfolios
  https://arxiv.org/abs/2311.13564