從 Cover 通用投資組合到 DRL：量化工程值得追的三條前沿路線

近五年關於 Thomas M. Cover 理論最值得追蹤的發展，並不是把 Universal Portfolio（通用投資組合） 直接包裝為深度學習策略，而是三條可檢驗、可工程化的路線：

1. 以**線上凸最佳化（OCO）**改善通用投資組合的運算負擔；
2. 以 Kelly／對數效用建立深度強化學習（DRL）的成長最優目標與可驗證基準；
3. 將交易成本、成交量與市場衝擊寫入訓練及評估環境。71411

這些方向對量化策略開發很有研究價值；不過，現有來源仍不足以支持「Universal Portfolio + DRL 已能穩定取得可複製實盤超額收益」的結論。

先釐清：Universal Portfolio、Kelly 與 DRL 不是同一件事

Cover 通用投資組合的經典比較對象，是事後才知道的「最佳固定權重再平衡投資組合」。其通用性在於不須預先假設特定的市場隨機模型，而非保證戰勝所有動態交易策略。8

Kelly 準則或成長最優投資，則是以最大化長期對數財富成長為核心。近期 DRL 研究可直接採用這個目標，但「使用對數效用獎勵」不代表策略自動取得 Cover 的通用性保證。148

若令 $x_t$ 為各資產於第 $t$ 期的價格相對數，$w_t$ 為投資權重，且暫不考慮交易成本，財富可寫成：

$$
W_T = W_0 \prod_{t=1}^{T} w_t^\top x_t.
$$

相對應的單期線上損失是：

$$
\ell_t(w)=-\log(w^\top x_t).
$$

因此，相對於事後最佳固定權重組合的累積遺憾，正好等於兩者對數財富的差距：

$$
R_T=
\sum_{t=1}^{T}\ell_t(w_t)

\min_{w\in\Delta_d}\sum_{t=1}^{T}\ell_t(w)

\log\frac{W_T^\star}{W_T}.
$$

這正是三者的交會點：OCO 處理累積對數財富差距，Kelly 處理成長目標，DRL 則可被視為求解含狀態與摩擦的動態決策工具。714

1. OCO 主線：VB-FTRL 讓通用投資組合更接近可用的配置引擎

在 Efficient and Near-Optimal Online Portfolio Selection 中，Rémi Jézéquel、Dmitrii M. Ostrovskii 與 Pierre Gaillard 提出 VB-FTRL（Volumetric-Barrier enhanced Follow-The-Regularized-Leader）。該方法直接延續 Cover 的線上投資組合選擇問題，目標是在維持近似 Universal Portfolio 遺憾保證的同時，降低計算成本。7

論文摘要指出，其保證與通用投資組合大致相近，差異涉及將 $\log(T)$ 替換為 $\log(T+d)$，並給出每輪約為 $\widetilde{O}(d^2(T+d))$ 的運行時間。7

為什麼這對量化工程重要？

傳統 Universal Portfolio 的難點，在於需要對連續的權重單純形空間進行績效加權整合；當資產數、策略數或重平衡頻率上升，直接實作會變得困難。VB-FTRL 把問題轉化為具明確正則化結構的線上最佳化問題，使其更適合作為下列研究基準：

• 多資產資產配置；
• 多因子或多策略的資金分配；
• 動態 ETF 籃子配置；
• DRL 配置器的簡潔、可解釋對照組。

但要注意：理論上的複雜度改善，不等於已可直接部署於高頻交易。實際延遲、記憶體使用、數值穩定性、資產可交易性與成本模型，仍必須獨立測試。7

2. Kelly × DRL：先在「有正解」的環境驗證演算法

Evaluation of Deep Reinforcement Learning Algorithms for Portfolio Optimisation 直接以 Kelly 對數效用評估 DRL 投資組合方法。研究使用模擬資料，並在不含市場衝擊的條件下推導解析最優策略，將其作為加入市場衝擊後的績效參照上界。14

這種設計的價值不在於宣稱某個 DRL 演算法已可交易，而在於先回答更基本的問題：當最優答案已知時，智能體能否學到正確策略？14

對量化研究而言，這是很重要的品質控管步驟。若策略在具解析解的環境中都無法接近正解，直接在歷史市場資料上跑出漂亮淨值曲線，也很難判斷收益究竟來自學習能力、資料洩漏、錯誤的交易時序，或未被揭露的槓桿與成本假設。

在財富始終為正、未額外進行獎勵變形或折現的情況下，對數報酬有一個直接優點：

$$
\sum_{t=1}^{T}\log\frac{W_t}{W_{t-1}}

\log\frac{W_T}{W_0}.
$$

也就是說，最大化累積對數財富增量，與最大化終端財富的對數相一致。不過，一旦加入獎勵裁剪、熵獎勵、風險懲罰或時間折現，實際最佳化目標便已改變；研究報告應清楚說明，而不宜籠統稱為「最大化長期成長」。

3. 高階通用投資組合：把「策略」也當成可配置資產

High order universal portfolios 探索一個有啟發性的擴展：將既有的 Cover Universal Portfolio 視為市場中的新合成資產，再遞迴建構高階通用投資組合。該文於 2023 年首次提交，並在 2025 年修訂；作者指出，高階構造與原始 Cover UP 不同，且可打破時間排列不變性。16

對實務研究者而言，這可引出一個自然的工程框架：不只在股票、債券或期貨之間配置，也可在不同可交易子策略之間配置資金，例如：

• 趨勢追蹤；
• 均值回歸；
• 事件驅動；
• 跨市場套利；
• 不同風險模型下的策略版本。

但這是方法論啟發，不是現成的獲利結論。把策略當資產時，必須先把各子策略的內部交易成本納入收益流，並在配置層處理重複持倉、淨額交易、保證金與流動性占用；不能把多條獨立回測曲線視作可無摩擦買賣的資產。16

4. 成本與衝擊：可能改變 DRL 策略的排名

2026 年的 Realistic Market Impact Modeling for Reinforcement Learning 指出，成本模型會實質影響絕對績效，也可能改變不同 DRL 演算法在多種環境下的相對排名。11

這篇研究不是 Cover 理論的直接延伸，卻是檢驗成長最優與 DRL 策略可交易性的必要配套。它提醒研究者：回測中的「策略勝出」，有時可能是成本設定恰好更有利於該策略的換手型態，而不必然代表其預測或決策更優秀。11

若以簡化的自融資模型表示，令 $c_t$ 為交易成本占交易前財富的比例：

$$
W_t=W_{t-1}(1-c_t)w_t^\top x_t,
\qquad 0\leq c_t<1.
$$

則淨成長獎勵可寫為：

$$
r_t=\log(w_t^\top x_t)+\log(1-c_t).
$$

若成本與換手量有關，交易量應以資產價格變動後的實際持倉權重作為起點，而不是直接以兩期目標權重的差異替代。這看似是實作細節，實際上會影響訓練目標、策略換手與回測結果。

技術博客與工程補充閱讀

QuantInsti 的風險約束 Kelly 教程可作為「預測訊號」與「下注規模」應分開處理的入門線索。發布方的 2025 年貼文將風險約束 Kelly 與資料處理、技術指標、機器學習及部位管理連結起來。

其適合用於理解 Kelly 工程化的思路，但證據強度應低於論文原文與可重現程式碼：該發布條目僅能確認教程主題，不能單獨證明程式正確、回測無洩漏或績效可複製。

另有 NYU Stern 託管的 Online Quantitative Trading Strategies，明確討論以蒙地卡羅抽樣近似 Cover Universal Portfolio，可作為由理論走向回測實作的補充材料。10

建議的研究與實作順序

若目標是建立可信的量化研究管線，較穩健的順序不是立即訓練端到端交易智能體，而是：

1. 復現理論基準：建立財富遞推、事後最佳固定權重比較組，以及具有解析解的 Kelly 模擬環境。
2. 在同一規格下比較方法：等權、固定權重、UP 近似、VB-FTRL 與 DRL 必須共用資料、資訊集、交易時點、槓桿及成本假設。
3. 分層加入摩擦：先做無成本一致性測試，再加入顯式手續費，最後加入市場衝擊、流動性與執行限制。
4. 驗證 DRL 的增量價值：檢查其優勢是否來自有效的跨期狀態資訊與執行決策，而非環境設定或回測偏誤。

目前最值得立項的問題不是「深度學習能否打敗 Universal Portfolio」，而是：在相同成本與風險約束下，DRL 相對於線上成長最優基準的增益，究竟來自有效狀態資訊，還是來自環境與回測設定？

證據邊界

• Cover 的長期性質是相對於事後最佳固定權重再平衡組合，不是短期獲利保證，也不是對所有動態策略的保證。8
• VB-FTRL 的效率改進是理論與演算法結果，尚不能單獨推論其適用於所有生產交易系統。7
• Kelly-DRL 的模擬框架有助於驗證演算法，但不能直接外推為真實市場超額報酬。14
• 市場衝擊與成本模型可能改變策略排名，因此不能脫離執行假設解讀回測結果。11
• 關於獨立復現、真實資金容量與跨市場穩定超額收益，目前仍屬證據不足。

參考來源

7: https://arxiv.org/pdf/2209.13932v2
8: https://arxiv.org/html/1611.09631v1
10: https://www.stern.nyu.edu/sites/default/files/2025-05/Glucksman_Lahanis.pdf
11: https://arxiv.org/html/2603.29086v1
14: https://arxiv.org/pdf/2307.07694
16: https://arxiv.org/abs/2311.13564
: https://x.com/QuantInsti/status/1883885141472514215