Universal Portfolio, зростання капіталу та DRL: де теорії Cover знаходять нове застосування

За останні п’ять років найцікавіші роботи навколо Universal Portfolio Томаса М. Cover і growth-optimal investment не зводяться до спроб «додати нейромережу до портфеля». Реальний поступ іде трьома напрямами: обчислювально придатна онлайн-оптимізація, DRL із логарифмічною метою як контрольованим еталоном і чесніше моделювання торговельних витрат та ринкового впливу.71411

Важливе застереження: наявні роботи підтверджують сильну дослідницьку та інженерну цінність цих підходів, але не доводять, що зв’язка «Universal Portfolio + DRL» уже забезпечує стабільну наддохідність у реальній торгівлі.71411

Спершу — не плутати Universal Portfolio, Kelly і DRL

Universal Portfolio Cover порівнює онлайн-рішення з найкращим заднім числом обраним портфелем із постійними вагами та ребалансуванням. Його універсальність означає модельну незалежність: результат не потребує наперед заданого стохастичного процесу ринку.8

Критерій Kelly, або інвестиції з оптимальним зростанням капіталу, натомість максимізує очікуване логарифмічне зростання багатства. У сучасних роботах із DRL ця логарифмічна корисність використовується як ціль навчання, але це саме по собі не переносить на агента гарантію універсальності Cover.148

У безвитратній моделі, де $x_t$ — вектор відносних цін, а $w_t$ — ваги портфеля, багатство має вигляд:

$$
W_T = W_0 \prod_{t=1}^{T} w_t^\top x_t.
$$

Тоді природна онлайн-втрата дорівнює:

$$
\ell_t(w) = -\log(w^\top x_t).
$$

Якщо $W_T^\star$ — багатство найкращого в ретроспективі портфеля з фіксованими вагами, то накопичений жаль дорівнює логарифму відносного відставання:

$$
\sum_{t=1}^{T}\ell_t(w_t)-\min_{w\in\Delta_d}\sum_{t=1}^{T}\ell_t(w)
=\log\frac{W_T^\star}{W_T}.
$$

Саме тут перетинаються три напрями: онлайн-опукла оптимізація (OCO) контролює втрати відносно фіксованого портфеля, Kelly задає мету зростання, а DRL може шукати політику для динамічних рішень. Їхня математика частково спільна, але гарантії — не взаємозамінні.7814

VB-FTRL: Universal Portfolio стає ближчим до обчислювальної практики

Найпряміше сучасне продовження задачі Cover — робота Efficient and Near-Optimal Online Portfolio Selection Ремі Жезекеля, Дмитрія Островського та П’єра Гайяра.7

Автори пропонують VB-FTRL — Volumetric-Barrier enhanced Follow-The-Regularized-Leader. Метод майже зберігає гарантію жалю Universal Portfolio: різниця полягає в константному множнику та заміні $\log(T)$ на $\log(T+d)$, де $T$ — число періодів, а $d$ — кількість активів.7

Заявлена часова складність на один раунд становить:

$$
\widetilde{O}(d^2(T+d)).
$$

Це важливо не лише теоретично. Класичний Universal Portfolio зважує континуум портфелів за їхньою минулою ефективністю, що створює серйозне обчислювальне навантаження. VB-FTRL переводить задачу в більш явну структуру онлайн-оптимізації з аналізом складності.7

Практичний висновок: VB-FTRL варто розглядати як базовий алгоритм для шару розподілу капіталу — між активами, секторами або кількома торговельними сигналами. Водночас теоретично краща складність ще не означає готовності до високочастотного продакшену: окремої перевірки потребують затримка, пам’ять, чисельна стійкість, ліквідність і витрати на ребалансування.

DRL і Kelly: цінність у можливості перевірити, чи агент узагалі вчиться

Робота Evaluation of Deep Reinforcement Learning Algorithms for Portfolio Optimisation використовує критерій Kelly — логарифмічну корисність — для оцінювання алгоритмів глибокого навчання з підкріпленням на симульованих даних.14

Її сильна сторона — не обіцянка «перемогти ринок», а методологія. За відсутності ринкового впливу автори аналітично виводять оптимальну політику. Це дає верхню межу та контрольний орієнтир для оцінки поведінки DRL після додавання ринкового впливу.14

Результати також показують, що складність DRL не гарантує правильного навчання: автори повідомляють, що позамодельні DDPG, TD3 і SAC не змогли коректно навчити $Q$-функцію через шумні винагороди, тоді як PPO та A2C із generalized advantage estimation краще впоралися з цією проблемою.14

Для квантового дослідження це означає просту, але часто ігноровану річ: перед історичним бектестом потрібно протестувати середовище на задачі, де правильна відповідь відома. Інакше приваблива крива капіталу може бути наслідком помилки в таймінгу угод, витоку даних, прихованого плеча або неповного обліку витрат.

High-order Universal Portfolios: коли стратегію трактують як актив

У роботі High order universal portfolios досліджується рекурсивне розширення ідеї Cover: уже побудований Universal Portfolio додається до ринку як новий синтетичний актив, після чого будується портфель вищого порядку.16

Автори зазначають, що такі high-order портфелі відрізняються від первинного Universal Portfolio та можуть порушувати інваріантність до перестановки часу.16

Інженерна інтуїція тут особливо корисна для мультистратегійних систем. Замість розподіляти капітал лише між акціями чи ETF, можна працювати з доходностями окремих стратегій — наприклад, трендової, mean-reversion або статистичного арбітражу — як із входами для верхнього рівня алокації.

Але це лише напрям для перевірки, а не готовий рецепт. Доходності кожної підстратегії мають уже враховувати внутрішні витрати; на рівні портфеля необхідно врахувати спільні позиції, неттінг угод, маржинальні вимоги й обмеження капіталу. Не можна вважати кілька привабливих бектестів безтертєвими «активами».

Витрати й ринковий вплив можуть перевернути висновки бектесту

Окрема свіжа робота про реалістичне моделювання ринкового впливу в RL показує: специфікація витрат впливає як на абсолютні результати, так і на відносне ранжування алгоритмів у всіх трьох досліджених середовищах.11

Наприклад, автори повідомляють, що для stock trading оптимізований PPO мав позавибіркову дохідність 20% і Sharpe 1,06 у базовій моделі, але 15% за моделі Almgren–Chriss; водночас TD3 зростав із 15% до 18%.11 Це не робота про Universal Portfolio як такий, проте вона критично важлива для оцінювання будь-якої growth-optimal або DRL-стратегії.

Звідси випливає ключове правило: не варто спершу обирати модель у середовищі без витрат, а потім просто віднімати фіксовану комісію з фінального результату. Мінімальний набір перевірок має містити:

• безвитратне середовище — для валідації теорії та реалізації;
• явні комісії — для оцінки чутливості до обороту;
• модель впливу, ліквідності й виконання — для перевірки масштабованості.

Яку роль це може відіграти в реальній квантовій розробці

Найпереконливіше застосування цих ідей сьогодні — не прогнозування наступної ціни, а дисциплінований розподіл капіталу між уже наявними джерелами доходності.

Практична дослідницька схема може бути такою:

1. Побудувати прості базові рішення: рівні ваги, фіксований портфель, наближення Universal Portfolio.
2. Додати OCO-базову лінію, зокрема VB-FTRL.7
3. Побудувати DRL-алокатор, який бачить той самий інформаційний набір, має ті самі обмеження та той самий облік витрат.14
4. Перевірити результати у різних режимах ринку, поза вибіркою, за альтернативних припущень про комісії та вплив.11

За наявності пропорційних витрат $c_t$ спрощена самофінансована модель має вигляд:

$$
W_t=W_{t-1}(1-c_t)w_t^\top x_t,
\qquad 0\le c_t<1,
$$

а чиста логарифмічна винагорода дорівнює:

$$
r_t=\log(w_t^\top x_t)+\log(1-c_t).
$$

Якщо витрати залежать від обсягу торгів, стартувати слід із фактичних ваг після руху цін, а не лише з різниці цільових ваг:

$$
\widetilde{w}{t-1,i}=
\frac{w{t-1,i}x_{t-1,i}}
{w_{t-1}^\top x_{t-1}}.
$$

Це не повна модель виконання, але вона допомагає уникнути поширеної помилки: ототожнення зміни бажаної алокації з фактичним торговельним обсягом.

Що ще не доведено

Тут межі доказів важливіші за гучні висновки.

• Гарантія довгострокового зростання Cover не є гарантією короткострокового прибутку та не порівнює алгоритм із довільною динамічною стратегією.8
• Поліпшення складності VB-FTRL не доводить, що алгоритм задовольняє вимоги реальної торговельної інфраструктури.7
• Контрольовані симуляції Kelly–DRL корисні для валідації, але не є доказом стійкої прибутковості на живому ринку.14
• Різні моделі витрат можуть змінити лідера серед алгоритмів, тому висновок бектесту не можна відривати від моделі виконання.11
• Незалежних відтворень і переконливих доказів стабільної наддохідності після реальних витрат, обмежень ліквідності та масштабування поки недостатньо.

Висновок

Сучасна цінність спадщини Cover — у створенні строгих базових ліній для складніших моделей. VB-FTRL дає ефективніший шлях до онлайн-алокації; Kelly-орієнтований DRL дає середовище, де можна перевірити коректність навчання; а дослідження ринкового впливу нагадують, що хороший результат без реалістичного виконання може виявитися ілюзією.71411

Найкраще питання для нового дослідження звучить не як «чи переможе DRL Universal Portfolio?», а так: чи додає DRL цінність понад онлайн-базову лінію за однакових даних, ризикових обмежень і торговельних витрат — і звідки саме походить ця цінність?

Джерела

• 7 Efficient and Near-Optimal Online Portfolio Selection
• 8 Cover's universal portfolio, stochastic portfolio theory and the numeraire portfolio
• 11 Realistic Market Impact Modeling for Reinforcement Learning
• 14 Evaluation of Deep Reinforcement Learning Algorithms for Portfolio Optimisation
• 16 High order universal portfolios