Universal Portfolio, Kelly dan DRL: aplikasi baharu teori Cover dalam kuantitatif

Dalam lima tahun kebelakangan ini, kebangkitan semula idea Universal Portfolio Thomas M. Cover lebih banyak berlaku melalui tiga laluan praktikal: pengoptimuman konveks dalam talian (online convex optimization, OCO), objektif pertumbuhan log/Kelly untuk menguji deep reinforcement learning (DRL), dan pemodelan kos dagangan serta impak pasaran. Ini penting untuk pembangun strategi kuantitatif kerana ia mengalihkan tumpuan daripada “ramalan harga yang nampak hebat” kepada soalan lebih asas: bagaimana modal diagihkan, bagaimana strategi dibandingkan secara adil, dan sama ada keuntungan masih wujud selepas kos.71411

Namun, had bukti mesti dijelaskan dari awal: literatur yang dirujuk menyokong nilai teori dan nilai kejuruteraan sebagai rangka kerja penyelidikan. Ia tidak membuktikan bahawa gabungan Universal Portfolio dengan DRL sudah menghasilkan pulangan lebihan yang stabil, boleh diulang dan boleh diskalakan dalam pasaran sebenar.71411

Bezakan tiga konsep yang sering dicampuradukkan

Universal Portfolio Cover membandingkan prestasi pelabur dalam talian dengan portfolio imbangan semula berat tetap terbaik yang hanya diketahui selepas tempoh pelaburan berakhir. Sifat “universal” itu bersifat bebas model: ia tidak memerlukan andaian awal tentang proses stokastik pasaran.8

Sebaliknya, pelaburan pertumbuhan optimum atau kriteria Kelly memaksimumkan pertumbuhan kekayaan secara logaritma. DRL boleh menggunakan objektif ini sebagai ganjaran, tetapi penggunaan ganjaran log sahaja tidak secara automatik memberi agen DRL jaminan universal Cover.148

Jika (x_t) ialah vektor relatif harga aset pada masa (t), dan (w_t) ialah wajaran portfolio, kekayaan tanpa kos transaksi boleh ditulis sebagai:

$$
W_T = W_0 \prod_{t=1}^{T} w_t^\top x_t.
$$

Kerugian dalam bentuk OCO pula ialah:

$$
\ell_t(w) = -\log(w^\top x_t).
$$

Dengan (W_T^\star) sebagai kekayaan portfolio berat tetap terbaik secara retrospektif, regret kumulatif bersamaan jurang kekayaan log:

$$
R_T = \sum_{t=1}^{T}\ell_t(w_t)-\min_{w\in\Delta_d}\sum_{t=1}^{T}\ell_t(w)
=\log\frac{W_T^\star}{W_T}.
$$

Di sinilah tiga bidang ini bertemu: OCO mengukur jurang berbanding portfolio tetap terbaik, Kelly menyatakan objektif pertumbuhan, manakala DRL ialah satu pendekatan untuk mencari dasar dinamik. Struktur matematiknya berkait, tetapi jaminan teorinya tidak boleh ditukar ganti secara sewenang-wenangnya.7814

Kemajuan paling langsung: VB-FTRL untuk pemilihan portfolio dalam talian

Kertas Efficient and Near-Optimal Online Portfolio Selection oleh Rémi Jézéquel, Dmitrii M. Ostrovskii dan Pierre Gaillard ialah bacaan utama bagi sesiapa yang mahu memahami lanjutan moden kepada masalah Cover.7

Penulis memperkenalkan VB-FTRL (Volumetric-Barrier enhanced Follow-The-Regularized-Leader), iaitu algoritma pemilihan portfolio dalam talian yang mengekalkan jaminan regret yang pada asasnya setanding dengan Universal Portfolio, tertakluk pada faktor pemalar dan penggantian (\log(T)) dengan (\log(T+d)). Kertas itu melaporkan masa jalan per pusingan sebanyak (\widetilde{O}(d^2(T+d))).7

Nilai praktikalnya bukan sekadar algoritma yang lebih baharu. Ia mengubah masalah daripada pengamiran wajaran kekayaan merentasi ruang portfolio berterusan kepada prosedur pengoptimuman dalam talian dengan struktur dan analisis kerumitan yang jelas.7

Bagi pasukan kuantitatif, VB-FTRL lebih munasabah dijadikan penanda aras pengagihan modal berbanding terus dianggap enjin dagangan frekuensi tinggi. Kerumitan teorinya masih bergantung pada bilangan aset (d) dan bilangan pusingan (T). Kependaman, penggunaan memori, kestabilan numerik, kekangan kecairan dan kos transaksi tetap perlu diuji secara berasingan sebelum sebarang penggunaan produksi.

DRL dan Kelly: nilai terbesar ialah penanda aras yang boleh diperiksa

Kertas Evaluation of Deep Reinforcement Learning Algorithms for Portfolio Optimisation menggunakan data simulasi dan objektif Kelly, iaitu utiliti log, untuk menilai algoritma DRL dalam pengoptimuman portfolio.14

Reka bentuk ini amat berguna: dalam keadaan tanpa impak pasaran, dasar optimum boleh diterbitkan secara analitik. Dasar tersebut kemudian menjadi rujukan atau had atas apabila eksperimen diperluas kepada keadaan yang mengandungi impak pasaran.14

Dapatan pentingnya ialah bukan semua agen DRL mengendalikan ganjaran kewangan yang hingar dengan sama baik. Kajian itu melaporkan bahawa algoritma luar dasar seperti DDPG, TD3 dan SAC gagal mempelajari fungsi-Q yang tepat dalam tetapan mereka kerana hingar ganjaran, manakala PPO dan A2C dengan generalised advantage estimation dapat mengurus hingar tersebut dengan lebih baik.14

Sudut penyelidikan yang patut diambil ialah: sebelum melatih agen pada data sejarah sebenar, uji dahulu sama ada persekitaran, urutan transaksi dan fungsi ganjaran mampu mengembalikan jawapan yang diketahui. Jika penanda aras analitik pun gagal dicapai, graf nilai portfolio yang menarik dalam backtest tidak cukup untuk membuktikan bahawa agen telah menemui kelebihan pasaran.

High-order Universal Portfolio: melihat strategi sebagai “aset”

Kertas High order universal portfolios mengembangkan Universal Portfolio dengan memasukkan Universal Portfolio sedia ada sebagai satu aset sintetik dalam pasaran, lalu membina portfolio universal peringkat lebih tinggi secara berulang.16

Penulis menunjukkan bahawa konstruk peringkat tinggi ini berbeza daripada Universal Portfolio Cover asal dan boleh memecahkan sifat invarians terhadap permutasi masa.16

Dari sudut kejuruteraan, idea ini menarik untuk masalah portfolio-of-strategies. Daripada hanya mengagihkan modal antara saham atau ETF, pengurus kuantitatif boleh menilai aliran pulangan daripada strategi trend, mean reversion, arbitraj atau strategi faktor sebagai komponen yang hendak diagihkan modal.

Tetapi ini ialah inferens reka bentuk, bukannya bukti keuntungan sebenar. Setiap aliran pulangan strategi mesti sudah menolak kos dagangan dalaman. Di lapisan portfolio pula, pasukan perlu mengurus pegangan bertindih, netting pesanan, margin, pembiayaan dan kos pelaksanaan tambahan. Menggabungkan beberapa backtest yang cantik tidak menjadikannya aset tanpa geseran.

Kos dagangan boleh mengubah “pemenang” DRL

Kertas 2026 mengenai pemodelan impak pasaran yang lebih realistik melaporkan bahawa spesifikasi model kos memberi kesan material kepada prestasi mutlak dan juga kedudukan relatif algoritma DRL merentas persekitaran yang diuji.11

Sebagai contoh, di bawah satu tetapan perdagangan saham yang dilaporkan, PPO yang dioptimumkan memperoleh pulangan luar sampel 20% dengan Sharpe 1.06 dalam model asas, tetapi pulangannya turun kepada 15% dalam model Almgren–Chriss; dalam keadaan sama, TD3 meningkat daripada 15% kepada 18%.11

Kertas ini bukan lanjutan langsung kepada teori Cover. Namun, ia sangat relevan untuk semua strategi pertumbuhan optimum dan DRL: strategi yang kelihatan terbaik mungkin menang kerana andaian kos menyebelahi corak pusing gantiannya, bukannya kerana keputusan pelaburannya benar-benar lebih baik.11

Oleh itu, kajian yang kukuh perlu memisahkan sekurang-kurangnya tiga lapisan ujian:

• Tanpa kos, untuk menyemak keselarasan dengan teori atau penyelesaian analitik.
• Dengan yuran eksplisit, untuk mengukur sensitiviti kepada pusing ganti.
• Dengan impak pasaran, kelewatan dan kekangan pelaksanaan, untuk menilai sama ada strategi kekal boleh didagangkan apabila skala meningkat.

Mengapa arah ini bernilai tinggi untuk pembangunan strategi kuantitatif

1. Mengasingkan masalah isyarat daripada masalah saiz pertaruhan

Kelly dan Universal Portfolio memaksa penyelidik membezakan dua perkara: adakah model mempunyai isyarat yang berguna, dan berapakah modal yang patut diperuntukkan kepada isyarat itu? Ini mengelakkan kesilapan lazim apabila skor ramalan atau kebarangkalian model terus diterjemahkan menjadi saiz posisi tanpa lapisan pengurusan modal.

Bahan Stanford tentang Risk-Constrained Kelly Gambling juga menunjukkan bahawa kekangan risiko pengeluaran boleh dirumuskan melalui pendekatan pengoptimuman konveks dalam masalah Kelly.13 Ia berguna sebagai rujukan apabila objektif pertumbuhan perlu diseimbangkan dengan had risiko laluan kekayaan.

2. Menjadikan model kompleks lebih mudah diaudit

Portfolio tetap terbaik secara retrospektif ialah penanda aras OCO; dasar Kelly analitik dalam simulasi pula ialah penanda aras untuk persekitaran DRL.814

Kedua-duanya menjawab soalan yang berbeza:

• Penanda aras OCO: berapa banyak kekayaan log hilang berbanding portfolio berat tetap terbaik yang hanya diketahui selepas itu?
• Penanda aras DRL: dalam dunia simulasi yang struktur optimumnya diketahui, adakah agen belajar dasar yang betul?
• Penanda aras pelaksanaan: selepas kos, kecairan dan kekangan sebenar dimasukkan, adakah kelebihan itu masih kekal?

Portfolio retrospektif terbaik bukan strategi yang boleh terus dilaksanakan. Nilainya ialah sebagai kayu ukur yang telus, bukan sebagai isyarat dagangan masa nyata.

3. Menawarkan susunan eksperimen yang lebih kukuh

Urutan penyelidikan yang praktikal ialah:

1. Bina semula rekursi kekayaan dan penanda aras portfolio berat tetap terbaik.
2. Uji algoritma pengagihan mudah, pendekatan Universal Portfolio, VB-FTRL dan pengagih DRL di bawah set maklumat, kekangan dan kos yang sama.
3. Sahkan persekitaran DRL pada kes dengan penyelesaian analitik yang diketahui.
4. Jalankan ujian luar sampel yang ketat, analisis sensitiviti kos dan ujian senario kegagalan strategi.
5. Hanya selepas itu, nilai kapasiti, kesan pasaran dan risiko operasi.

Untuk kos (c_t) sebagai bahagian daripada kekayaan sebelum dagangan, model kendiri yang dipermudah boleh ditulis sebagai:

$$
W_t=W_{t-1}(1-c_t)w_t^\top x_t, \qquad 0\le c_t<1.
$$

Ganjaran pertumbuhan bersih ialah:

$$
r_t=\log(w_t^\top x_t)+\log(1-c_t).
$$

Jika kos bergantung pada jumlah dagangan, wajaran sebenar selepas pergerakan harga perlu digunakan, bukan hanya perubahan wajaran sasaran. Tanpa dagangan pertengahan, wajaran selepas harga bergerak ialah:

$$
\widetilde{w}{t-1,i}=\frac{w{t-1,i}x_{t-1,i}}{w_{t-1}^\top x_{t-1}}.
$$

Ini masih model ringkas; ia tidak secara automatik meliputi pinjaman saham, pembiayaan, saiz lot, pesanan separa terisi atau impak silang aset.

Bahan teknikal tambahan

Nota Online Quantitative Trading Strategies yang dihoskan oleh NYU Stern menerangkan pendekatan anggaran Monte Carlo untuk Universal Portfolio kerana kekangan pengiraan.10 Ia berguna sebagai jambatan antara definisi teori dan prototaip backtest, tetapi status bahan institusi tidak sama dengan pengesahan semakan rakan sebaya atau bukti dagangan sebenar.10

Untuk Kelly berasaskan pengurusan risiko, tutorial QuantInsti mengenai risk-constrained Kelly criterion boleh dijadikan bahan pengenalan kepada pemisahan antara ramalan, pengurusan posisi dan kawalan risiko. Namun, bahan blog atau promosi penerbit tidak patut dianggap sebagai pengesahan bebas bahawa kod, backtest atau hasil strateginya bebas kebocoran data dan boleh diulang.13

Kesimpulan: soalan yang lebih baik daripada “bolehkah DRL menewaskan Universal Portfolio?”

Soalan yang lebih berguna untuk projek kuantitatif ialah: di bawah kos, risiko dan set maklumat yang sama, adakah DRL memberi nilai tambahan berbanding asas pengoptimuman dalam talian berasaskan pertumbuhan?

Jika ya, penyelidik perlu menunjukkan bahawa nilai tambahan itu datang daripada penggunaan keadaan rentas masa, kekangan pelaksanaan atau struktur impak pasaran — bukan daripada kebocoran data, leverage tersirat atau andaian kos yang terlalu lembut. VB-FTRL menyediakan asas OCO yang kuat untuk perbandingan tersebut; objektif Kelly menyediakan bahasa pertumbuhan yang jelas; dan kajian impak pasaran mengingatkan bahawa strategi hanya bernilai apabila ia kekal berfungsi selepas realiti pelaksanaan dimasukkan.71411

Rujukan utama

• 7 Efficient and Near-Optimal Online Portfolio Selection — VB-FTRL, jaminan regret dan kerumitan pengiraan.
• 8 Cover’s universal portfolio, stochastic portfolio theory and the numeraire portfolio — penjelasan tentang perbandingan klasik Cover dan sifat bebas model.
• 10 Online Quantitative Trading Strategies — contoh anggaran Universal Portfolio berasaskan Monte Carlo.
• 11 Realistic Market Impact Modeling for Reinforcement Learning — kesan model kos terhadap prestasi dan kedudukan algoritma.
• 13 Risk-Constrained Kelly Gambling — Kelly dengan kekangan risiko pengeluaran.
• 14 Evaluation of Deep Reinforcement Learning Algorithms for Portfolio Optimisation — objektif Kelly, simulasi dan penanda aras analitik.
• 16 High order universal portfolios — Universal Portfolio sebagai aset sintetik dan konstruk peringkat tinggi.

7: https://arxiv.org/pdf/2209.13932v2
8: https://arxiv.org/html/1611.09631v1
10: https://www.stern.nyu.edu/sites/default/files/2025-05/Glucksman_Lahanis.pdf
11: https://arxiv.org/html/2603.29086v1
13: https://stanford.edu/~boyd/papers/kelly.html
14: https://arxiv.org/pdf/2307.07694
16: https://arxiv.org/abs/2311.13564