Universal Portfolio ja kasvun optimointi ovat jälleen ajankohtaisia kvanttirahoituksessa

Thomas M. Coverin Universal Portfolio eli universaali portfolio ja kasvun optimointi ovat nousseet uudelleen kiinnostaviksi, kun kvanttirahoituksessa etsitään malleja, jotka ovat yhtä aikaa teoriassa selkeitä ja käytännössä testattavia. Tuore tutkimus ei kuitenkaan tue yksinkertaista väitettä, että “Universal Portfolio + syvä vahvistusoppiminen” tuottaisi automaattisesti kestävää ylituottoa oikeassa kaupankäynnissä.

Vahvimmat viime vuosien kehityssuunnat ovat pikemminkin nämä:

1. Universal Portfolio -ongelman laskennallisesti tehokkaampi ratkaiseminen online convex optimizationin (OCO) avulla.7
2. Kellyn kriteerin eli log-hyödyn käyttäminen DRL-mallien arvioitavana kasvutavoitteena.14
3. Kaupankäyntikustannusten ja markkinavaikutuksen nostaminen mallivertailun keskeiseksi osaksi.11

Ensin tärkeä rajaus: Universal Portfolio, Kelly ja DRL eivät ole sama asia

Coverin universaali portfolio vertaa online-päätöksentekijää parhaaseen jälkikäteen valittuun kiinteäpainoiseen, jatkuvasti tasapainotettuun portfolioon. Sen klassinen universaalisuus on mallivapaata: tulos ei edellytä, että markkinoiden tuottoprosessille oletetaan etukäteen tietty stokastinen malli.8

Kellyn kriteeri puolestaan tähtää pitkän aikavälin logaritmisen varallisuuskasvun maksimointiin. DRL voi käyttää tätä tavoitetta palkkiofunktiona, mutta pelkkä logaritmisen tuoton optimointi ei anna agentille Coverin teoreettista universaalisuusominaisuutta.814

Yhteys näkyy portfolion varallisuusdynamiikassa. Kun $x_t$ on hintasuhdevektori ja $w_t$ sijoituspainovektori, kitkattomassa tapauksessa

$$
W_T = W_0 \prod_{t=1}^{T} w_t^\top x_t.
$$

Negatiivinen logaritminen kasvu voidaan kirjoittaa online-tappioksi:

$$
\ell_t(w) = -\log(w^\top x_t).
$$

Tällöin kumulatiivinen regret suhteessa parhaaseen kiinteään painovektoriin on samalla logaritminen varallisuusero:

$$
R_T = \log\frac{W_T^\star}{W_T}.
$$

Tämä on keskeinen tutkimusrajapinta: OCO minimoi kumulatiivista logaritmista tappiota, Kelly-ajattelu maksimoi kasvua ja DRL toimii mahdollisena menetelmänä dynaamisen päätöspolitiikan oppimiseen. Teoriat ovat sukua toisilleen, mutta niiden takuut eivät ole keskenään vaihdettavissa.7814

1. VB-FTRL: Universal Portfolio -ajatus tehokkaampaan online-optimointiin

Tuorein suora jatko Coverin ongelmalle on Rémi Jézéquelin, Dmitrii M. Ostrovskiin ja Pierre Gaillardin työ Efficient and Near-Optimal Online Portfolio Selection. Artikkeli esittelee VB-FTRL-algoritmin, jonka regret-takuu on olennaisesti Universal Portfolio -menetelmän tasoa, mutta laskennallinen kuorma on pienempi.7

Tutkimuksen ilmoittama laskenta-aikavaatimus kierrosta kohti on

$$
\widetilde{O}(d^2(T+d)),
$$

missä $d$ on sijoituskohteiden määrä ja $T$ päätöskierrosten määrä.7

Käytännön merkitys ei ole ensisijaisesti se, että menetelmästä tulisi suoraan korkean frekvenssin tuotantojärjestelmä. Merkittävämpää on, että se tarjoaa selkeän vertailutason esimerkiksi:

• omaisuusluokkien väliseen online-allokointiin,
• faktorien tai sektorien painottamiseen,
• usean valmiin sijoitusstrategian pääomanjakoon,
• DRL-allokaattorin arviointiin samoilla informaatio- ja kustannusoletuksilla.

VB-FTRL:n teoreettinen tehokkuus ei yksin ratkaise käytännön toteutusta. Muisti, numeerinen vakaus, latenssi, rebalanssitiheys ja transaktiokustannukset on testattava erikseen.7

2. Kellyn log-hyöty tekee DRL:n testaamisesta uskottavampaa

Artikkeli Evaluation of Deep Reinforcement Learning Algorithms for Portfolio Optimisation arvioi DRL-algoritmeja simuloidussa portfoliotehtävässä Kellyn log-hyödyn avulla. Tutkijat johtavat tilanteeseen ilman markkinavaikutusta analyyttisen optimaalisen politiikan ja käyttävät sitä vertailukohtana, kun markkinavaikutus lisätään ympäristöön.14

Tämä on poikkeuksellisen hyödyllinen asetelma. Usein sijoitusagentin historiallinen backtest voi näyttää hyvältä ilman, että tiedetään, oppiko agentti todella halutun päätössäännön vai hyödynsikö se ympäristön virhettä, epärealistista kaupankäyntiolettamusta tai piilotettua vipuvaikutusta.

Logaritminen kasvupalkkio on helposti tulkittava, kun varallisuus pysyy positiivisena eikä tavoitetta muuteta esimerkiksi diskonttauksella tai palkkioleikkauksella:

$$
\sum_{t=1}^{T}\log\frac{W_t}{W_{t-1}}
= \log\frac{W_T}{W_0}.
$$

Jos palkkioon lisätään Sharpe-suhteeseen liittyviä termejä, entropiabonuksia, riskorangaistuksia tai aikadiskonttaus, optimointiongelma muuttuu. Tällöin ei enää pidä kuvata mallia pelkästään “pitkän aikavälin kasvun maksimointina”.14

3. Kustannusmalli voi ratkaista, mikä algoritmi näyttää parhaalta

Vuoden 2026 markkinavaikutusta käsittelevä DRL-tutkimus raportoi, että kustannusmalli vaikuttaa sekä absoluuttiseen suorituskykyyn että algoritmien keskinäiseen paremmuusjärjestykseen eri testausympäristöissä.11

Tämä on erittäin tärkeä havainto kaikelle kasvunoptimointiin perustuvalle strategiakehitykselle. Malli voi näyttää hyvältä kitkattomassa simuloinnissa, mutta hävitä toiselle mallille, kun toteutuskustannukset, markkinavaikutus tai vaihtuvuus mallinnetaan uskottavammin.11

Yksinkertaistettu kustannustietoinen varallisuusmalli voidaan kirjoittaa muodossa

$$
W_t = W_{t-1}(1-c_t)w_t^\top x_t,
$$

missä $c_t$ on kaupankäyntikustannuksen osuus ennen kauppaa olevasta varallisuudesta. Tällöin nettokasvun palkkio on

$$
r_t = \log(w_t^\top x_t) + \log(1-c_t).
$$

Tämäkin on vasta lähtökohta. Todellinen toteutusmalli voi vaatia lisäksi spreadin, hintavaikutuksen, likviditeetin, viiveen, rahoituskulujen, lainausrajoitteiden ja diskreettien toimeksiantojen huomioimista.

4. High Order Universal Portfolios: strategioista voi tulla “synteettisiä omaisuuseriä”

High order universal portfolios laajentaa Coverin alkuperäistä rakennetta lisäämällä universaalin portfolion markkinaan uutena synteettisenä omaisuuseränä ja rakentamalla tämän päälle korkeamman kertaluvun universaaleja portfolioita.16

Ajatus on kiinnostava erityisesti kvanttiportfolion rakenteessa. Sen sijaan, että pääomaa jaetaan vain osakkeiden, ETF:ien tai futuurien kesken, jakotaso voi koostua esimerkiksi seuraavista strategioista:

• trendiseuranta,
• arvostus- tai mean reversion -strategia,
• volatiliteetti- tai carry-strategia,
• markkinaneutraali arbitraasi,
• erilliset alue- tai faktorimallit.

Tämä on kuitenkin tutkimushypoteesi, ei valmis tuotantoratkaisu. Jos strategia käsitellään portfoliotasolla omaisuuseränä, sen tuottosarjan on jo sisällettävä sen omat kustannukset. Lisäksi päällekkäiset omistukset, nettoutus, vakuusvaatimukset ja yhteinen markkinavaikutus on käsiteltävä oikein.16

Miksi nämä suuntaukset ovat nyt arvokkaita?

Ne siirtävät huomion ennustamisesta pääomanjakoon

Monessa koneoppimiseen perustuvassa sijoitushankkeessa suurin epäselvyys on, miten ennuste muutetaan positiokooksi. Coverin ja Kellyn perinne pakottaa kysymään suoremmin: miten pääomaa kohdennetaan peräkkäisissä päätöksissä, millä vertailutasolla ja millä kustannuksilla?

Ne tarjoavat testattavia vertailukohtia

• OCO-vertailu kertoo, kuinka paljon logaritmista kasvua menetetään suhteessa parhaaseen jälkikäteen valittuun kiinteään portfolioon.8
• Kelly-pohjainen simulointi voi tarjota tilanteita, joissa optimaalinen politiikka tunnetaan analyyttisesti.14
• Markkinavaikutusmallit paljastavat, säilyykö havaittu etu, kun kaupankäynti tehdään realistisemmaksi.11

Pelkkä kumulatiivinen tuotto tai Sharpe-luku ei anna yhtä hyvää diagnoosia siitä, mistä mallin tulos syntyy.

Ne auttavat määrittämään, milloin DRL:ää todella tarvitaan

DRL on perustelluin silloin, kun päätöksessä on olennaista tilariippuvuutta: esimerkiksi toteutusrajoitteita, markkinavaikutusta, vaihtelevaa likviditeettiä, dynamiikkaa riskibudjetissa tai usean aikahorisontin välistä kompromissia.

Jos yksinkertainen OCO- tai kasvunoptimointipohjainen allokointimenetelmä saavuttaa saman tuloksen samoilla tiedoilla ja rajoitteilla, suurempi neuroverkko ei itsessään ole vahva tutkimus- tai liiketoimintaperuste.714

Käytännöllinen tutkimusjärjestys

Luotettava etenemistapa olisi seuraava:

1. Rakenna ensin perustasot: kiinteäpainoinen portfolio, tasapainoportfolio, Cover-tyyppinen approksimaatio ja mahdollinen VB-FTRL-toteutus.710
2. Testaa Kelly-ympäristössä: varmista, että palkkio, kaupankäynnin ajoitus ja varallisuuslaskenta toimivat tilanteessa, jossa optimaalinen ratkaisu tunnetaan.14
3. Lisää kitkat vaiheittain: ensin palkkiot, sitten vaihtuvuussidonnainen kustannus ja lopuksi markkinavaikutus- sekä toteutusrajoitteet.11
4. Vertaa DRL:ää reilusti: käytä samoja data-aikatauluja, positiorajoja, kustannuksia ja riskisääntöjä kaikille malleille.
5. Tee aidosti ajankohdan ulkopuolinen arviointi: tarkista datavuoto, mallinvalintaharha, kapasiteetti ja herkkyys eri markkinajaksoille.

Mitä ei vielä voida väittää

Nykyinen aineisto tukee vahvasti sitä, että Universal Portfolio -ajattelulla, OCO:lla, Kellyn log-hyödyllä ja DRL-arviointikehyksillä on suuri tutkimusarvo.71416 Sen sijaan ei ole riittävää näyttöä siitä, että Universal Portfolio- ja DRL-yhdistelmä olisi jo osoitettu riippumattomasti toistettavaksi, kustannusten jälkeen skaalautuvaksi ja jatkuvasti ylituottoa tuottavaksi reaalimarkkinoilla.71114

Siksi kiinnostavin tutkimuskysymys ei ole “voiko syväoppiminen voittaa Universal Portfolion?”, vaan: tuoko DRL lisäarvoa online-kasvuoptimoinnin vertailutasoon nähden silloin, kun kustannukset, riskirajat ja toteutus ovat täsmälleen samat?

Lähteet

• 7 Efficient and Near-Optimal Online Portfolio Selection — VB-FTRL, regret-takuu ja laskennallinen monimutkaisuus.
• 8 Cover's universal portfolio, stochastic portfolio theory and the numeraire portfolio — Universal Portfolion klassinen vertailukohde ja mallivapaus.
• 10 Online Quantitative Trading Strategies — Monte Carlo -approksimaatio Coverin menetelmälle.
• 11 Realistic Market Impact Modeling for Reinforcement Learning — kustannusmallin vaikutus DRL-algoritmien tuloksiin ja sijoituksiin.
• 14 Evaluation of Deep Reinforcement Learning Algorithms for Portfolio Optimisation — Kellyn log-hyöty, simuloitu ympäristö ja analyyttinen optimaalinen politiikka.
• 16 High order universal portfolios — universaalin portfolion korkeamman kertaluvun laajennus.

7: https://arxiv.org/pdf/2209.13932v2
8: https://arxiv.org/html/1611.09631v1
10: https://www.stern.nyu.edu/sites/default/files/2025-05/Glucksman_Lahanis.pdf
11: https://arxiv.org/html/2603.29086v1
14: https://arxiv.org/pdf/2307.07694
16: https://arxiv.org/abs/2311.13564