Universal Portfolio dan Kelly di Era DRL: Arah Riset Kuantitatif yang Paling Menjanjikan

Dalam lima tahun terakhir, perkembangan paling relevan dari gagasan Universal Portfolio Thomas M. Cover dan growth-optimal investment atau kriteria Kelly bukanlah klaim bahwa deep reinforcement learning (DRL) otomatis bisa “mengalahkan pasar”. Nilai riset yang lebih kuat justru muncul pada tiga jalur: optimasi portofolio online yang lebih efisien, benchmark pertumbuhan logaritmik yang dapat diverifikasi, serta evaluasi strategi dengan biaya dan dampak pasar yang lebih realistis.71411

Bagi pengembang strategi kuantitatif, ketiga jalur ini penting karena membantu memisahkan tiga pertanyaan yang sering tercampur: bagaimana mengalokasikan modal, bagaimana menilai kualitas algoritme, dan apakah hasil backtest benar-benar dapat diperdagangkan.

Universal Portfolio, Kelly, dan DRL bukan konsep yang sama

Universal Portfolio Cover membandingkan strategi online dengan portofolio rebalancing berbobot tetap terbaik yang baru diketahui setelah periode investasi berakhir. Sifat “universal”-nya merujuk pada jaminan jangka panjang yang tidak bergantung pada asumsi proses stokastik tertentu.8

Sementara itu, Kelly atau investasi pertumbuhan optimal berfokus pada maksimalisasi pertumbuhan kekayaan secara logaritmik. Dalam bentuk sederhana, jika (x_t) adalah vektor price relative aset dan (w_t) adalah bobot portofolio, maka kekayaan pada akhir horizon adalah:

$$
W_T = W_0 \prod_{t=1}^{T} w_t^\top x_t.
$$

Kerugian online yang sesuai dapat ditulis sebagai:

$$
\ell_t(w)=-\log(w^\top x_t).
$$

Dari sini terlihat hubungan penting dengan online convex optimization (OCO): selisih akumulasi kerugian logaritmik terhadap portofolio berbobot tetap terbaik sama dengan selisih log-kekayaan relatif. Namun, kesamaan struktur matematika ini tidak berarti DRL otomatis mewarisi jaminan Universal Portfolio.7814

DRL adalah metode untuk mempelajari kebijakan dinamis. Ia dapat menggunakan reward berbasis log-wealth atau Kelly, tetapi tanpa asumsi, pembuktian, dan pembanding yang tepat, hasilnya bukanlah jaminan universal ala Cover.

1. VB-FTRL: kemajuan paling langsung untuk Universal Portfolio

Makalah Efficient and Near-Optimal Online Portfolio Selection oleh Rémi Jézéquel, Dmitrii M. Ostrovskii, dan Pierre Gaillard merupakan salah satu rujukan paling penting untuk kelanjutan modern masalah Cover.7

Penelitian ini memperkenalkan VB-FTRL (Volumetric-Barrier enhanced Follow-The-Regularized-Leader), sebuah algoritme online portfolio selection yang mempertahankan jaminan regret yang pada dasarnya sebanding dengan Universal Portfolio—hingga faktor konstan dan penyesuaian bentuk logaritmik—dengan biaya komputasi yang jauh lebih rendah.7

Makalah tersebut melaporkan kompleksitas waktu per putaran sebesar:

$$
\widetilde{O}(d^2(T+d)),
$$

ketika (d) adalah jumlah aset dan (T) jumlah periode.7

Mengapa ini bernilai bagi quant engineer?

Universal Portfolio klasik secara konseptual melakukan agregasi atas kontinum portofolio rebalancing tetap, sehingga implementasi langsungnya dapat berat secara komputasi. VB-FTRL memindahkan fokus ke prosedur optimasi online dengan struktur yang lebih operasional.

Aplikasi yang paling masuk akal bukan langsung pada perdagangan frekuensi tinggi, melainkan pada:

• alokasi modal antarstrategi sistematis;
• rotasi alokasi antar-ETF, sektor, atau faktor;
• penggabungan beberapa sinyal yang sudah dapat diperdagangkan;
• benchmark OCO bagi strategi alokasi yang lebih kompleks.

Tetap ada batas penting: kompleksitas teoritis yang lebih baik tidak otomatis berarti siap dipakai di sistem produksi. Latensi, stabilitas numerik, memori, frekuensi rebalancing, serta model biaya transaksi harus diuji secara terpisah.7

2. DRL dengan objektif Kelly: kuat sebagai alat evaluasi, bukan bukti alpha

Makalah Evaluation of Deep Reinforcement Learning Algorithms for Portfolio Optimisation mengevaluasi algoritme DRL untuk optimasi portofolio dalam data simulasi dengan kriteria Kelly atau utilitas log sebagai objektif.14

Nilai metodologis utamanya adalah penulis dapat menurunkan kebijakan optimal secara analitis ketika market impact belum dimasukkan. Solusi tersebut kemudian dipakai sebagai batas referensi untuk mengukur performa agen ketika dampak pasar ditambahkan.14

Ini sangat berguna bagi riset kuantitatif karena memungkinkan pertanyaan yang lebih disiplin:

Dalam lingkungan yang jawabannya diketahui, apakah agen DRL benar-benar mempelajari kebijakan yang benar?

Makalah tersebut melaporkan bahwa algoritme off-policy seperti DDPG, TD3, dan SAC kesulitan mempelajari fungsi-Q yang tepat ketika reward berisik. Sebaliknya, PPO dan A2C yang menggunakan generalised advantage estimation lebih mampu menangani noise dalam pengaturan yang diuji.14

Nilai praktisnya

Sebelum menguji DRL di data pasar historis, tim riset sebaiknya memvalidasi terlebih dahulu:

• urutan waktu perdagangan dan pembaruan posisi;
• rumus reward dan akuntansi kekayaan;
• penanganan leverage serta batas bobot;
• implementasi biaya transaksi;
• kemampuan agen mendekati solusi analitis pada simulasi.

Tanpa tahap ini, kurva ekuitas yang terlihat menarik dapat berasal dari kebocoran data, kesalahan lingkungan, biaya yang terlewat, atau eksposur leverage tersembunyi—bukan dari kecerdasan kebijakan yang dipelajari.14

3. High-order Universal Portfolios: strategi dapat diperlakukan sebagai aset sintetis

Makalah High order universal portfolios memperluas gagasan Cover dengan menambahkan Universal Portfolio yang telah dibentuk sebagai aset sintetis baru ke dalam pasar, lalu membangun Universal Portfolio orde lebih tinggi secara rekursif.16

Penulis menunjukkan bahwa konstruksi orde tinggi ini berbeda dari Universal Portfolio Cover biasa dan dapat mematahkan sifat invariansi terhadap permutasi waktu.16

Secara rekayasa, gagasan ini relevan untuk kerangka “strategi sebagai aset”. Alih-alih hanya membagi modal di antara saham, sistem dapat membagi modal di antara aliran return dari strategi tren, mean reversion, arbitrase statistik, atau model faktor.

Namun, ini masih merupakan inferensi desain, bukan bukti bahwa pendekatan tersebut pasti lebih baik dalam perdagangan nyata. Agar valid, return setiap strategi harus sudah memasukkan biaya internalnya; lapisan alokasi juga perlu menangani kepemilikan yang tumpang tindih, netting transaksi, margin, dan kebutuhan likuiditas.16

4. Market impact dapat mengubah “pemenang” DRL

Penelitian terbaru tentang pemodelan market impact yang lebih realistis menunjukkan bahwa spesifikasi biaya dapat memengaruhi return absolut dan peringkat relatif antaralgoritme DRL.11

Dalam hasil yang dilaporkan, PPO yang dioptimalkan menjadi terbaik pada konfigurasi dasar, tetapi performanya menurun ketika model biaya Almgren–Chriss digunakan; pada saat yang sama, TD3 justru membaik relatif terhadap konfigurasi awal.11

Pesan praktisnya jelas: strategi tidak cukup dievaluasi dengan satu model biaya transaksi yang nyaman. Sebaiknya riset memisahkan setidaknya tiga tahap:

1. Tanpa biaya, untuk memeriksa apakah logika algoritme dan teori bekerja sebagaimana mestinya.
2. Dengan biaya eksplisit, untuk mengukur sensitivitas terhadap turnover.
3. Dengan market impact dan batas eksekusi, untuk menguji apakah strategi tetap layak ketika skala transaksi meningkat.11

Menambahkan pengurang biaya tetap hanya pada akhir backtest tidak memadai bila biaya sebenarnya bergantung pada ukuran order, likuiditas, volatilitas, dan jalur eksekusi.

5. Kelly yang sadar risiko: pelengkap penting untuk growth optimality

Kriteria Kelly murni dapat menghasilkan ukuran taruhan yang agresif. Riset Risk-Constrained Kelly Gambling memperkenalkan kendala risiko penurunan kekayaan (drawdown) dan menunjukkan bagaimana batas probabilitas drawdown dapat menghasilkan formulasi optimasi konveks yang menjamin kendala tersebut terpenuhi.13

Bagi pengembangan strategi, ini menegaskan bahwa prediksi sinyal dan ukuran posisi adalah masalah berbeda. Model prediksi yang baik tidak otomatis memberi keputusan alokasi yang baik jika risiko konsentrasi, leverage, likuiditas, atau drawdown tidak dikendalikan.

Tetapi penambahan penalti risiko juga mengubah masalah awal. Tidak tepat untuk menyatakan bahwa strategi yang menambahkan penalti risiko pada reward DRL sekaligus mempertahankan semua jaminan Universal Portfolio atau Kelly klasik tanpa pembuktian ulang.

Rancangan eksperimen yang layak dijalankan

Untuk riset atau prototipe kuantitatif, urutan berikut lebih kredibel daripada langsung melatih agen end-to-end:

1. Bangun benchmark dasar: equal weight, bobot tetap, dan pembanding portofolio rebalancing tetap terbaik secara retrospektif.
2. Implementasikan baseline online: pendekatan Universal Portfolio yang dapat dihitung atau VB-FTRL.710
3. Validasi lingkungan Kelly: gunakan simulasi dengan solusi analitis untuk menguji reward, transaksi, dan pembaruan bobot.14
4. Bandingkan DRL secara adil: semua metode harus menerima informasi, batas leverage, frekuensi rebalancing, dan model biaya yang sama.
5. Uji ketahanan eksekusi: lakukan out-of-sample test, analisis sensitivitas biaya, skenario likuiditas rendah, dan periode kegagalan strategi.11

Kesimpulan

Perkembangan terbaru menempatkan Universal Portfolio dan growth-optimal investment sebagai fondasi yang sangat berguna untuk rekayasa strategi modern. VB-FTRL memberi jalur OCO yang lebih efisien untuk alokasi modal online.7 Objektif Kelly memberi kerangka evaluasi DRL yang dapat diuji terhadap solusi analitis.14 Sementara itu, riset market impact mengingatkan bahwa kualitas strategi tidak dapat dipisahkan dari model implementasinya.11

Bukti yang tersedia belum cukup untuk menyimpulkan bahwa gabungan Universal Portfolio dan DRL telah menghasilkan keunggulan yang stabil, mandiri, dan dapat direplikasi di pasar riil setelah seluruh biaya serta kendala kapasitas diperhitungkan. Namun, sebagai kerangka riset, kombinasi ini sangat bernilai: ia memaksa model kompleks berhadapan dengan baseline sederhana, objektif yang jelas, dan pengujian eksekusi yang disiplin.

Referensi yang disarankan

• 7 Efficient and Near-Optimal Online Portfolio Selection — VB-FTRL, jaminan regret, dan kompleksitas komputasi.
• 14 Evaluation of Deep Reinforcement Learning Algorithms for Portfolio Optimisation — objektif Kelly, benchmark analitis, dan evaluasi DRL.
• 16 High order universal portfolios — Universal Portfolio orde tinggi dan aset sintetis.
• 11 Realistic Market Impact Modeling for Reinforcement Learning — dampak model biaya terhadap peringkat algoritme.
• 13 Risk-Constrained Kelly Gambling — batas drawdown dalam optimasi Kelly.
• 10 Online Quantitative Trading Strategies — contoh pendekatan aproksimasi Universal Portfolio untuk implementasi.

7: https://arxiv.org/pdf/2209.13932v2
8: https://arxiv.org/html/1611.09631v1
10: https://www.stern.nyu.edu/sites/default/files/2025-05/Glucksman_Lahanis.pdf
11: https://arxiv.org/html/2603.29086v1
13: https://stanford.edu/~boyd/papers/kelly.html
14: https://arxiv.org/pdf/2307.07694
16: https://arxiv.org/abs/2311.13564