מתיק אוניברסלי ועד למידת חיזוק: החזית החדשה של השקעות צמיחה אופטימלית

השורה התחתונה

ההתפתחות המעניינת באמת בחמש השנים האחרונות אינה "להלביש" רשת עמוקה על Universal Portfolio של Thomas M. Cover. שלוש מגמות שימושיות יותר למחקר כמותי הן: אופטימיזציה מקוונת שמפחיתה את עלות החישוב, מטרות צמיחה לוגריתמיות שמאפשרות לבנות מבחני אמת ללמידת חיזוק, והכנסה מפורשת של עלויות ביצוע והשפעת שוק להערכת אסטרטגיות. 71411

יש כאן ערך מחקרי והנדסי משמעותי, במיוחד בהקצאת הון בין נכסים או בין אסטרטגיות קיימות. עם זאת, אין במקורות שלפנינו הוכחה לכך ש-Universal Portfolio בשילוב DRL כבר מספק תשואת יתר יציבה, ניתנת לשכפול וברת-מסחר בשווקים אמיתיים. 71411

קודם כול: שלושה מושגים קרובים, אבל לא זהים

התיק האוניברסלי של Cover משווה את ביצועי ההחלטה המקוונת לתיק הקבוע הטוב ביותר שניתן היה לבחור רק בדיעבד — כלומר, לתיק מאוזן מחדש במשקולות קבועות. ההבטחה הקלאסית היא חסרת מודל: היא אינה מחייבת להניח תהליך הסתברותי מסוים למחירים. 8

השקעת צמיחה אופטימלית / קריטריון Kelly ממקדת את המטרה במקסום קצב הצמיחה הלוגריתמי של העושר. במחקרי DRL עדכניים משתמשים במטרה זו כדי להגדיר בעיית אופטימיזציית תיק ולהשוות את הסוכן לפתרון אנליטי בסביבה מבוקרת. 14

למידת חיזוק עמוקה (DRL) היא שיטת פתרון למדיניות דינמית. עצם השימוש בתגמול לוגריתמי אינו מעניק לסוכן את הבטחת האוניברסליות של Cover. אלה מסגרות בעלות מבנה מתמטי משותף, אך עם הבטחות תיאורטיות שונות. 814

אם (x_t) הוא וקטור יחסי המחירים, ו-(w_t) הוא וקטור משקולות ההשקעה, אז בהיעדר עלויות עסקה:

$$
W_T=W_0\prod_{t=1}^{T}w_t^\top x_t.
$$

אפשר לנסח את ההפסד המקוון כ:

$$
\ell_t(w)=-\log(w^\top x_t).
$$

לכן, הפער המצטבר מול התיק הקבוע הטוב ביותר בדיעבד הוא גם פער לוגריתמי בעושר:

$$
\sum_{t=1}^{T}\ell_t(w_t)-\min_{w\in\Delta_d}\sum_{t=1}^{T}\ell_t(w)

\log\frac{W_T^\star}{W_T}.
$$

זהו החיבור החשוב: OCO מודד את פער ההחלטות המקוונות, Kelly מגדיר מטרת צמיחה, ו-DRL יכול לנסות ללמוד מדיניות דינמית תחת אותה שפה של עושר לוגריתמי.

1. VB-FTRL: להפוך את בעיית Cover לישימה יותר

המאמר Efficient and Near-Optimal Online Portfolio Selection של Rémi Jézéquel, Dmitrii M. Ostrovskii ו-Pierre Gaillard הוא כנראה נקודת הפתיחה החשובה ביותר למי שמחפש המשך ישיר ועכשווי של בעיית Cover. 7

החוקרים מציעים את VB-FTRL — גרסת Follow-The-Regularized-Leader שמשלבת מחסום נפחי — ומדווחים על הבטחת regret הקרובה לזו של Universal Portfolio, עד לגורמים קבועים ולהחלפת (\log(T)) ב-(\log(T+d)). 7 זמן הריצה המדווח לכל סבב הוא:

$$
\widetilde{O}(d^2(T+d)).
$$

7

למה זה חשוב למפתחי אסטרטגיות?

התרומה אינה הבטחת רווח, אלא מעבר מממוצע משוקלל על פני מרחב רציף של תיקים למנגנון אופטימיזציה מקוונת עם מבנה חישובי וניתוח מורכבות מפורשים. 7

יישום טבעי הוא שכבת הקצאת הון:

• חלוקת הון בין נכסים, סקטורים או סגנונות השקעה;
• הקצאה בין אסטרטגיות קיימות, למשל מומנטום, היפוך לממוצע או ארביטראז׳;
• השוואת מנהל הקצאה מתקדם מול משקל שווה, משקולות קבועות ואמות מידה מקוונות פשוטות יותר.

חשוב לא לבלבל בין שיפור תיאורטי במורכבות לבין מוכנות למסחר בתדירות גבוהה. זמן השהיה, זיכרון, יציבות נומרית, מגבלות מסחר ועלויות ביצוע דורשים בדיקה נפרדת. 7

2. Kelly ו-DRL: הערך הגדול הוא מבחן תקפות, לא רק עקומת הון

המחקר Evaluation of Deep Reinforcement Learning Algorithms for Portfolio Optimisation בוחן אלגוריתמי DRL על נתונים מדומים, כאשר קריטריון Kelly — תועלת לוגריתמית — משמש כמטרה. ללא השפעת שוק, החוקרים גוזרים מדיניות אופטימלית אנליטית; המדיניות הזאת משמשת תקרת ייחוס כאשר מוסיפים השפעת שוק. 14

זה שימוש מחקרי בעל ערך גבוה: לפני שבוחנים תוצאות היסטוריות רועשות, אפשר לשאול שאלה פשוטה וחדה — כאשר התשובה הנכונה ידועה, האם סוכן ה-DRL בכלל לומד אותה? 14

בממצאים המתוארים בתקציר, אלגוריתמים מחוץ למדיניות כגון DDPG, TD3 ו-SAC מתקשים ללמוד את פונקציית ה-Q הנכונה בשל רעש התגמולים, בעוד PPO ו-A2C, בשילוב generalized advantage estimation, מתמודדים טוב יותר עם הרעש. 14

לקח הנדסי

תגמול של צמיחה לוגריתמית מיישר, בתנאים מסוימים, את מטרת האימון עם הצטברות העושר:

$$
\sum_{t=1}^{T}\log\frac{W_t}{W_{t-1}}

\log\frac{W_T}{W_0}.
$$

אבל ברגע שמוסיפים קיצוץ תגמול, בונוס אנטרופיה, קנס סיכון או היוון בזמן — המטרה משתנה. לכן יש לתעד את פונקציית התגמול בפועל ולא להסתפק בטענה כללית של "מקסום צמיחה ארוכת טווח".

3. High Order Universal Portfolios: להתייחס לאסטרטגיות כנכסים

המאמר High order universal portfolios בוחן הרחבה ישירה של Cover: מוסיפים את ה-Universal Portfolio הקיים כנכס סינתטי חדש לשוק, ואז בונים רקורסיבית תיקי UP מסדר גבוה יותר. החוקרים מדגישים שתיקים אלה שונים מה-UP המקורי ויכולים לשבור את אינווריאנטיות התמורה בזמן. 16

מבחינה כמותית, זו השראה למסגרת של "אסטרטגיות כנכסים". במקום לבחור רק בין מניות, אג״ח או סחורות, אפשר להקצות הון בין זרמי תשואה של תתי-אסטרטגיות.

אלא שהמעבר הזה אינו חינמי:

• כל אסטרטגיית-בסיס צריכה להיות מחושבת לאחר העלויות הפנימיות שלה;
• יש לטפל בחפיפת החזקות ובנטינג של עסקאות;
• יש להביא בחשבון שימוש בבטחונות, מינוף ומגבלות נזילות.

לכן, אי אפשר פשוט לחבר כמה דוחות backtest מרשימים ולהתייחס אליהם כנכסים סינתטיים חסרי חיכוך. 16

4. עלויות והשפעת שוק יכולות לשנות את המנצח

המאמר Realistic Market Impact Modeling for Reinforcement Learning אינו הרחבה ישירה של Cover, אבל הוא קריטי לכל ניסיון ליישם צמיחה אופטימלית באמצעות DRL. החוקרים מדווחים שמודל העלויות משפיע לא רק על הביצועים המוחלטים אלא גם על הדירוג היחסי בין אלגוריתמים בשלוש סביבות שנבדקו. 11

בין היתר, תחת מודל הבסיס PPO הממוטב השיג בתוצאות מחוץ למדגם תשואה של 20% ו-Sharpe של 1.06, אך התשואה ירדה ל-15% תחת מודל Almgren–Chriss; TD3, לעומת זאת, עבר מ-15% ל-18%. 11

המסקנה המעשית אינה שאלגוריתם אחד תמיד עדיף. המסקנה היא שדירוג אסטרטגיות יכול להיות תוצר של הנחת הביצוע: אסטרטגיה עם מחזור מסחר גבוה עשויה להיראות מצוינת תחת עלות פשטנית ולהיחלש תחת מודל השפעה מציאותי יותר. 11

מודל עצמי-מממן פשטני, שבו (c_t) היא עלות המסחר כשיעור מהעושר לפני העסקה, הוא:

$$
W_t=W_{t-1}(1-c_t)w_t^\top x_t,
\qquad 0\le c_t<1.
$$

והתגמול הנקי הוא:

$$
r_t=\log(w_t^\top x_t)+\log(1-c_t).
$$

זהו בסיס שימושי לניסוי, אך לא תחליף למודל ביצוע מלא הכולל השפעת שוק, מרווחי bid-ask, מימון, השאלת ניירות ומגבלות מסחר בדידות.

מסגרת עבודה מומלצת למחקר כמותי

במקום לאמן מיד סוכן מסחר מקצה לקצה, סדר עבודה אמין יותר הוא:

1. לשחזר אמות מידה תיאורטיות — לחשב התפתחות עושר, את התיק הקבוע הטוב ביותר בדיעבד, וסביבת Kelly עם פתרון אנליטי ידוע.
2. להשוות מנהלי הקצאה באותם תנאים — משקל שווה, משקולות קבועות, קירוב ל-UP, VB-FTRL וסוכן DRL; כולם עם אותם נתונים, מידע זמין, אילוצים ועלויות.
3. לבחון רגישות לביצוע — להפריד בין סביבה ללא עלות, עלויות מפורשות, והשפעת שוק ומגבלות ביצוע.
4. לערוך בדיקות מחוץ למדגם — כולל מניעת דליפת מידע, תזמון פקודות, קיבולת, יציבות בין תקופות ותרחישי כשל.

השאלה המחקרית החזקה אינה "האם Deep Learning מנצח את Universal Portfolio?" אלא: באילו תנאים DRL מוסיף מידע דינמי אמיתי מעבר לבסיס מקוון של צמיחה אופטימלית, ובאילו תנאים היתרון שלו הוא תוצר של סביבת הבדיקה?

מגבלות הראיות

• הבטחת Cover היא מול התיק הקבוע המאוזן מחדש הטוב ביותר בדיעבד, לא מול כל אסטרטגיית מסחר דינמית אפשרית. 8
• שיפור תיאורטי של VB-FTRL אינו מוכיח שהוא מתאים אוטומטית לתשתית מסחר ייצורית. 7
• תוצאות DRL בסימולציה ובסביבה עם פתרון אנליטי הן ראיות טובות לאימות אלגוריתמי, אך אינן הוכחה לרווחיות בשוק אמיתי. 14
• מודל עלויות עשוי לשנות את דירוג האלגוריתמים, ולכן אי אפשר לפרש backtest בלי לפרט את מנגנון הביצוע. 11
• לגבי שכפול בלתי תלוי, קיבולת השקעה ותשואת יתר עקבית לאחר כל העלויות במסחר חי: אין די ראיות.

מקורות עיקריים

7 Efficient and Near-Optimal Online Portfolio Selection — arXiv
8 Cover's universal portfolio, stochastic portfolio theory and the numeraire portfolio — arXiv
11 Realistic Market Impact Modeling for Reinforcement Learning — arXiv
14 Evaluation of Deep Reinforcement Learning Algorithms for Portfolio Optimisation — arXiv
16 High order universal portfolios — arXiv