Universal Portfolio ve büyüme-optimal yatırım, güncel nicel mühendislikte neden yeniden öne çıkıyor?

Cover’ün Universal Portfolio (Evrensel Portföy) yaklaşımını, Kelly kriterini ve güncel yapay zekâ yöntemlerini aynı şeymiş gibi görmek yanıltıcı olur. Aralarında önemli bir matematiksel bağ bulunsa da her biri farklı bir soruya cevap verir:

• Universal Portfolio, sonradan seçilen en iyi sabit oranlı yeniden dengeleme portföyüne karşı uzun vadeli, modelden bağımsız bir kıyas çerçevesi kurar.8
• Kelly / büyüme-optimal yatırım, servetin beklenen logaritmik büyümesini maksimize etmeye odaklanır.
• Derin pekiştirmeli öğrenme (DRL) ise dinamik karar kuralını öğrenmek için kullanılan bir yöntemdir; log-getiri ödülü kullanması, tek başına Cover tipi evrensellik garantisi verdiği anlamına gelmez.14

Son beş yıldaki en kayda değer gelişme, Universal Portfolio’yu yalnızca “derin öğrenmeyle birleştirmek” değil; onu çevrim içi konveks optimizasyon (OCO) ile daha hesaplanabilir hâle getirmek, Kelly hedefiyle DRL modellerini denetlenebilir sentetik ortamlarda sınamak ve işlem maliyetini model seçiminin merkezine koymaktır.71411

Temel bağlantı: log-servet, OCO ve büyüme hedefi

Varlık fiyat akraba vektörünü $x_t$, dönem başındaki portföy ağırlığını $w_t$ olarak tanımlayalım. İşlem maliyetinin olmadığı ve servetin pozitif kaldığı basit durumda portföy serveti şöyledir:

$$
W_T = W_0 \prod_{t=1}^{T} w_t^\top x_t.
$$

Buna karşılık dönemsel çevrim içi kayıp fonksiyonu şu şekilde yazılabilir:

$$
\ell_t(w) = -\log(w^\top x_t).
$$

Bu tanım altında, çevrim içi algoritmanın sonradan belirlenen en iyi sabit ağırlıklı portföye göre kaybı şuna eşittir:

$$
R_T = \sum_{t=1}^{T}\ell_t(w_t)-\min_{w\in\Delta_d}\sum_{t=1}^{T}\ell_t(w)
=\log\frac{W_T^\star}{W_T}.
$$

Bu eşitlik araştırma açısından çok değerlidir: OCO literatürü kümülatif log-servet farkını, Kelly yaklaşımı büyüme hedefini, DRL ise dinamik politika öğrenimini ele alabilir. Ancak ortak matematiksel yapı, teorik garantilerin otomatik olarak bir yöntemden diğerine taşındığı anlamına gelmez.7814

1. Universal Portfolio’nun güncel OCO uzantısı: VB-FTRL

En doğrudan güncel çalışma, Rémi Jézéquel, Dmitrii M. Ostrovskii ve Pierre Gaillard’ın “Efficient and Near-Optimal Online Portfolio Selection” başlıklı araştırmasıdır.7

Çalışma, VB-FTRL adlı yöntemi öneriyor. Bu yaklaşım, Universal Portfolio’ya yakın bir pişmanlık (regret) garantisini korumayı hedeflerken hesaplama yükünü azaltmayı amaçlıyor. Kaynağın bildirdiği teorik çalışma zamanı, tur başına yaklaşık olarak şöyledir:

$$
\widetilde{O}(d^2(T+d)).
$$

Burada $d$ varlık sayısını, $T$ ise işlem dönemlerinin sayısını temsil eder.7

Neden önemli?

Klasik Universal Portfolio, sürekli portföy ağırlıkları uzayı üzerinde geçmiş performansa göre ağırlıklandırılmış bir integral fikrine dayanır. Bu teorik olarak güçlü olsa da çok varlıklı ve uzun zaman ufuklu uygulamalarda hesaplama bakımından zorlayıcı olabilir. VB-FTRL hattı, problemi daha açık bir optimizasyon ve karmaşıklık analizi çerçevesine taşır.7

Nicel yatırım araştırmasında en mantıklı kullanım alanları şunlardır:

• Çoklu alfa veya çoklu strateji arasında sermaye tahsisi,
• Sektör, faktör ya da varlık sınıfı bazlı dinamik ağırlıklandırma,
• Karmaşık DRL portföy modelleri için şeffaf bir çevrim içi temel model oluşturma.

Bununla birlikte, teorik hesaplama iyileşmesi üretim ortamında düşük gecikme garantisi değildir. Bellek tüketimi, sayısal kararlılık, yeniden dengeleme sıklığı, işlem maliyeti ve emir yürütme mimarisi ayrıca ölçülmelidir.7

2. Kelly hedefiyle DRL: Önce doğru cevabın bilindiği ortamda test etmek

“Evaluation of Deep Reinforcement Learning Algorithms for Portfolio Optimisation” çalışması, Kelly log-faydasını doğrudan DRL portföy optimizasyonunun hedefi olarak kullanır.14

Çalışmanın ayırt edici özelliği, simüle edilmiş bir piyasada — piyasa etkisi yokken — analitik olarak optimal politikanın türetilebilmesidir. Bu optimum, piyasa etkisi eklendiğinde DRL ajanlarının performansını değerlendirmek için bir üst referans olarak kullanılır.14

Araştırmacılar, gürültülü ödüller altında DDPG, TD3 ve SAC gibi bazı çevrim dışı (off-policy) algoritmaların doğru $Q$ fonksiyonunu öğrenmekte zorlandığını; PPO ve A2C gibi çevrim içi (on-policy) yöntemlerin ise genelleştirilmiş avantaj tahminiyle daha iyi başa çıkabildiğini bildiriyor.14

Araştırma ve uygulama değeri

Bu yaklaşım, nicel finans alanında sık rastlanan bir sorunu hedef alır: Tarihsel testte iyi bir sermaye eğrisi görüldüğünde, başarının gerçekten öğrenilmiş karar kuralından mı, simülasyon hatasından mı, örtük kaldıraçtan mı veya eksik maliyet varsayımlarından mı kaynaklandığını ayırmak zordur.

Kelly tabanlı analitik referans sayesinde daha net sorular sorulabilir:

• Ödül fonksiyonu doğru uygulanmış mı?
• Aksiyonun işlemden önce mi, sonra mı alındığı tutarlı mı?
• Ajan, optimum politika yönünde öğreniyor mu?
• Piyasa etkisi eklendiğinde performans farkı ne kadar?

Bu, DRL’yi doğrudan gerçek piyasa verisine bırakmadan önce yapılması gereken güçlü bir mühendislik doğrulamasıdır. Ancak bulguların kontrollü simülasyon ortamına ait olduğu unutulmamalıdır; bu sonuçlar tek başına gerçek piyasalarda sürdürülebilir alfa kanıtı değildir.14

3. Daha üst düzey fikir: Stratejileri de “varlık” gibi ele almak

“High order universal portfolios” çalışması, Cover Universal Portfolio’yu piyasaya yeni bir sentetik varlık olarak ekleyip bu genişletilmiş piyasada daha yüksek mertebeden Universal Portfolio’lar oluşturmayı inceler.16

Çalışmanın temel sonucu, bu yüksek mertebeden yapıların klasik Cover Universal Portfolio’dan farklı olduğudur; ayrıca zaman permütasyon değişmezliğini kırabilme potansiyeli taşıdıkları gösterilir.16

Bu fikir pratikte şu araştırma çerçevesine ilham verebilir:

• Trend takip, ortalamaya dönüş, arbitraj ve faktör stratejilerini ayrı “getiri varlıkları” olarak tanımlamak,
• Her stratejinin iç işlem maliyetini getirisine dâhil etmek,
• Ardından stratejiler arasında çevrim içi sermaye tahsisi yapmak.

Fakat burada önemli bir sınır vardır: Güzel görünen ayrı strateji testlerini maliyetsiz ve bağımsız varlıklar gibi toplamak doğru değildir. Stratejiler aynı hisselerde çakışabilir, işlem emirleri netleştirilebilir, fonlama ihtiyacı değişebilir ve iç maliyetler portföy seviyesinde yeniden hesaplanmalıdır. Yüksek mertebeli kurgu, bu nedenle doğrudan bir getiri vaadi değil; dikkatle test edilmesi gereken bir portföy mimarisi fikridir.16

4. İşlem maliyeti modelinin algoritma sıralamasını değiştirebilmesi

Cover teorisinin doğrudan uzantısı olmayan ancak uygulama açısından kritik bir çalışma, “Realistic Market Impact Modeling for Reinforcement Learning” başlıklı ön baskıdır.11

Araştırma, maliyet modelinin yalnızca mutlak performansı değil, RL algoritmalarının göreli sıralamasını da değiştirdiğini bildiriyor. Örneğin kaynakta, optimize edilmiş PPO’nun bir temel maliyet modelinde en iyi dönem dışı sonucu verirken Almgren–Chriss tipi maliyet varsayımında getirisi düşerken, TD3’ün göreli olarak iyileşebildiği belirtiliyor.11

Bu sonuçtan çıkarılacak ana ders şudur: Bir algoritmanın geri testte kazanması, yatırım kararlarının her zaman daha iyi olduğu anlamına gelmez. Sonuç, modelin o algoritmanın devir hızını veya işlem tarzını daha avantajlı fiyatlamasından kaynaklanabilir.

Bu nedenle bir strateji araştırmasında en az üç ayrı katman bulunmalıdır:

1. Maliyetsiz ortam: Matematiksel hedef ve algoritma implementasyonu doğru mu?
2. Açık işlem ücretli ortam: Strateji devir hızına ne kadar duyarlı?
3. Piyasa etkisi ve yürütme kısıtlı ortam: Strateji ölçeklendiğinde işlem yapılabilirliğini koruyor mu?

Yalnızca maliyetsiz ortamda model seçip sonradan sabit bir komisyon düşmek, özellikle yüksek devirli RL stratejilerinde yetersiz bir yöntemdir.11

5. Risk kısıtlı Kelly: Büyüme hedefi tek başına yeterli değil

Kelly kriterinin en bilinen pratik eleştirisi, tahmin hatasına ve sert düşüşlere karşı hassas olabilmesidir. Stanford kaynaklı “Risk-Constrained Kelly Gambling” çalışması, klasik Kelly problemine servet düşüşü olasılığını sınırlayan ek bir risk kısıtı getirir. Önerilen yaklaşım, düşüş olasılığı için bir sınır kullanarak konveks bir optimizasyon problemi elde eder.13

Bu, nicel mühendislik açısından iki nedenle önem taşır:

• Tahmin sinyali ile bahis/pozisyon büyüklüğü kararını birbirinden ayırır.
• “Beklenen log-büyümeyi artırmak” ile “kabul edilebilir düşüş profili sağlamak” hedeflerinin ayrı ayrı modellenmesi gerektiğini gösterir.

Ancak risk cezası eklemek, orijinal Universal Portfolio garantisinin aynen korunduğu anlamına gelmez. Karşılaştırma sınıfı, uygulanabilir ağırlık uzayı ve teorik varsayımlar yeniden ele alınmalıdır.813

6. Maliyet duyarlı büyüme ödülü için pratik bir başlangıç

$c_t$ işlem maliyetinin işlem öncesi servete oranı olsun. Basitleştirilmiş, kendi kendini finanse eden bir modelde:

$$
W_t = W_{t-1}(1-c_t)w_t^\top x_t,
\qquad 0\leq c_t<1.
$$

Buna karşılık net büyüme ödülü şöyledir:

$$
r_t = \log(w_t^\top x_t)+\log(1-c_t).
$$

İşlem maliyeti işlem hacmine bağlıysa, yeni hedef ağırlık ile eski hedef ağırlığın farkı her zaman gerçek işlem hacmini temsil etmez. Fiyat hareketinden sonraki, işlem öncesi gerçekleşmiş ağırlık şu biçimde hesaplanabilir:

$$
\widetilde{w}{t-1,i}=
\frac{w{t-1,i}x_{t-1,i}}
{w_{t-1}^\top x_{t-1}}.
$$

Bu ayrım, hedef ağırlık değişimini yanlışlıkla gerçekleşmiş alım-satım miktarı saymamak için önemlidir. Yine de bu model; emir defteri derinliği, borçlanma maliyeti, ödünç pay bulma, ayrık lot büyüklükleri ve gecikme gibi gerçek yürütme sorunlarını tek başına kapsamaz.

Nicel strateji geliştirme için önerilen araştırma sırası

Uçtan uca bir işlem ajanı eğitmek yerine daha denetlenebilir bir sıra izlemek daha güçlü sonuç verir:

1. Teorik tabanı kurun: Servet güncellemesini, en iyi sabit ağırlıklı karşılaştırma portföyünü ve analitik çözümü bulunan Kelly ortamını uygulayın.
2. Aynı koşullarda karşılaştırın: Eşit ağırlık, sabit ağırlık, Universal Portfolio yaklaşımı, VB-FTRL ve DRL tahsisçisini aynı veri, maliyet ve risk kısıtlarında test edin.
3. Zaman dışı doğrulama yapın: Veri sızıntısı, işlem zamanlaması, rejim değişimi ve maliyet hassasiyetini sistematik biçimde inceleyin.
4. Kapasiteyi ölçün: Strateji büyüdüğünde piyasa etkisi, likidite ve işlem sıklığı varsayımlarının performansı nasıl değiştirdiğini değerlendirin.

En değerli araştırma sorusu, “DRL Universal Portfolio’yu geçebilir mi?” sorusundan daha dardır: DRL’nin çevrim içi büyüme-optimal temel modellere göre sağladığı ek fayda, gerçekten anlamlı durum bilgisinden mi geliyor; yoksa çevre ve geri test tasarımının bir etkisi mi?

Kanıtların sınırı

Mevcut kaynaklar, Universal Portfolio ve Kelly fikirlerinin OCO, DRL değerlendirmesi ve maliyet duyarlı portföy mühendisliği için güçlü araştırma araçları sunduğunu destekliyor.71411 Buna karşılık, bu yaklaşımların bağımsız biçimde tekrarlandığı, gerçek maliyet ve kapasite kısıtları altında kalıcı fazladan getiri ürettiği yönünde yeterli kanıt yoktur.

Kısacası: Cover’ün fikirleri bugün en çok “fiyat tahmini” için değil, sermaye tahsisi, doğrulanabilir kıyaslama ve bileşik büyüme ile uyumlu amaç fonksiyonu tasarımı için değer taşıyor.

Kaynak notları

• 7 Efficient and Near-Optimal Online Portfolio Selection — VB-FTRL, pişmanlık garantisi ve hesaplama karmaşıklığı.
• 8 Cover’s universal portfolio, stochastic portfolio theory and the numeraire portfolio — Universal Portfolio’nun klasik kıyas nesnesi ve modelden bağımsızlık anlamı.
• 11 Realistic Market Impact Modeling for Reinforcement Learning — maliyet modelinin RL algoritması sıralamasına etkisi.
• 13 Risk-Constrained Kelly Gambling — düşüş riski kısıtlı Kelly optimizasyonu.
• 14 Evaluation of Deep Reinforcement Learning Algorithms for Portfolio Optimisation — Kelly hedefi, analitik politika ve DRL değerlendirme çerçevesi.
• 16 High order universal portfolios — Universal Portfolio’yu sentetik varlık olarak ekleyen yüksek mertebeli genişletme.

7: https://arxiv.org/pdf/2209.13932v2
8: https://arxiv.org/html/1611.09631v1
11: https://arxiv.org/html/2603.29086v1
13: https://stanford.edu/~boyd/papers/kelly.html
14: https://arxiv.org/pdf/2307.07694
16: https://arxiv.org/abs/2311.13564