Universal Portfolio ของ Cover กำลังถูกต่อยอดอย่างไรใน OCO, DRL และอัลกอริทึมเทรด

ประเด็นสำคัญ: อย่าสับสนระหว่าง Universal Portfolio, Kelly และ DRL

ในช่วง 5 ปีล่าสุด แนวโน้มที่น่าสนใจไม่ได้อยู่ที่การนำชื่อ Universal Portfolio (UP) ของ Thomas M. Cover ไปติดป้ายให้โมเดล deep learning แต่คือการเชื่อมสามกรอบคิดที่เกี่ยวข้องกันแต่มี “คำรับประกัน” ต่างกันอย่างชัดเจน ได้แก่

• Universal Portfolio: เปรียบเทียบผลลัพธ์กับพอร์ตถ่วงน้ำหนักคงที่ที่ดีที่สุดซึ่งเลือกได้เมื่อมองย้อนหลังแล้ว
• Growth-optimal investment หรือ Kelly criterion: เพิ่มอัตราการเติบโตแบบลอการิทึมของความมั่งคั่ง
• Online Convex Optimization (OCO) และ Deep Reinforcement Learning (DRL): เป็นเครื่องมือสำหรับตัดสินใจแบบลำดับเวลา ไม่ได้ทำให้ได้รับทฤษฎีของ Cover โดยอัตโนมัติ

ทฤษฎีของ Cover ระบุว่าพอร์ตสากลที่ออกแบบเหมาะสมสามารถมีผลตอบแทนลอการิทึมระยะยาวเทียบเท่ากับพอร์ต rebalanced น้ำหนักคงที่ที่ดีที่สุดซึ่งทราบได้ย้อนหลัง และคุณสมบัตินี้เป็นแบบไม่ต้องตั้งสมมติฐานเกี่ยวกับกระบวนการสุ่มของตลาด 8 แต่ข้อเปรียบเทียบนี้ ไม่ใช่ การชนะทุกกลยุทธ์เทรดแบบไดนามิก และไม่ใช่คำสัญญาว่าจะกำไรในระยะสั้น

สำหรับหน้าต่างการค้นคว้านี้ ใช้ผลงานที่เผยแพร่หรือมีการปรับปรุงในช่วงประมาณกันยายน 2021 ถึงกันยายน 2026 โดยแยกให้ชัดระหว่างผลที่รายงานในงานวิชาการ กับข้อเสนอเชิงวิศวกรรมที่ยังต้องทดสอบเอง

1) Universal Portfolio ในภาษาของ OCO: จุดเชื่อมคือ log loss

ให้ (x_t) เป็นเวกเตอร์ราคาเชิงสัมพัทธ์ของสินทรัพย์ในงวด (t) และ (w_t) เป็นน้ำหนักพอร์ตใน simplex (\Delta_d) หากละเลยต้นทุนธุรกรรมและความมั่งคั่งยังเป็นบวก:

$$
W_T=W_0\prod_{t=1}^{T}w_t^\top x_t.
$$

จึงเขียน loss รายงวดได้เป็น

$$
\ell_t(w)=-\log(w^\top x_t).
$$

หาก (W_T^\star) คือความมั่งคั่งของพอร์ตน้ำหนักคงที่ที่ดีที่สุดเมื่อเลือกย้อนหลัง ความต่างของ cumulative log loss คือ

$$
\sum_{t=1}^{T}\ell_t(w_t)-\min_{w\in\Delta_d}\sum_{t=1}^{T}\ell_t(w)
=\log\frac{W_T^\star}{W_T}.
$$

สมการนี้อธิบายว่าทำไม OCO จึงเป็นภาษาทางคณิตศาสตร์ที่เหมาะกับปัญหา online portfolio selection: regret ใน log loss มีความหมายตรงกับช่องว่างของการเติบโตเชิงลอการิทึมเมื่อเทียบกับพอร์ตคงที่ย้อนหลัง อย่างไรก็ตาม การมี reward แบบ log ใน DRL ไม่ได้ทำให้โมเดล DRL ได้รับ universal guarantee ของ Cover โดยอัตโนมัติ 7814

2) งานหลักที่ควรอ่าน: VB-FTRL ทำให้ปัญหา UP เข้าใกล้การใช้งานเชิงคำนวณมากขึ้น

งาน Efficient and Near-Optimal Online Portfolio Selection ของ Rémi Jézéquel, Dmitrii M. Ostrovskii และ Pierre Gaillard เสนออัลกอริทึม VB-FTRL หรือ Volumetric-Barrier enhanced Follow-The-Regularized-Leader 7

สาระสำคัญคือ อัลกอริทึมนี้ให้ regret guarantee ที่เกือบเทียบเท่า Universal Portfolio โดยต่างกันเพียงปัจจัยคงที่และการแทน (\log(T)) ด้วย (\log(T+d)) ขณะเดียวกันลดภาระการคำนวณที่มักเป็นอุปสรรคของการเฉลี่ยบนปริภูมิพอร์ตต่อเนื่อง 7 งานรายงานเวลาประมวลผลต่อรอบที่

$$
\widetilde{O}\bigl(d^2(T+d)\bigr),
$$

โดย (d) คือจำนวนสินทรัพย์ และ (T) คือจำนวนรอบการตัดสินใจ 7

เหตุใดจึงมีคุณค่าต่อ quant engineering

Universal Portfolio ฉบับดั้งเดิมมีเสน่ห์ทางทฤษฎี แต่การคำนวณเชิงปฏิบัติไม่ง่าย เพราะต้องถัวเฉลี่ยพอร์ต rebalanced ที่เป็นไปได้จำนวนต่อเนื่อง โดยให้น้ำหนักตามผลงานในอดีต งาน VB-FTRL ย้ายโจทย์ไปสู่โครงสร้างการเพิ่มประสิทธิภาพออนไลน์ที่มีการวิเคราะห์ความซับซ้อนชัดเจน 7

ในเชิงวิจัยและพัฒนา วิธีนี้เหมาะเป็น baseline สำหรับชั้นจัดสรรทุน เช่น

• จัดสรรทุนระหว่าง ETF, สินทรัพย์, sector หรือ factor portfolio
• จัดสรรทุนระหว่างกลยุทธ์ trend following, mean reversion และ statistical arbitrage
• ใช้เทียบกับ equal weight, fixed-weight rebalancing และตัวจัดสรรทุนด้วย DRL ภายใต้ข้อมูลและข้อจำกัดเดียวกัน

อย่างไรก็ดี “คำนวณได้ดีขึ้น” ไม่เท่ากับ “พร้อมใช้กับระบบเทรดความถี่สูง” เพราะเวลาแฝง หน่วยความจำ เสถียรภาพเชิงตัวเลข ความถี่ในการ rebalancing และต้นทุนซื้อขายยังต้องผ่านการทดสอบแยกต่างหาก

3) Kelly criterion กับ DRL: คุณค่าหลักคือสร้าง benchmark ที่รู้คำตอบ

งาน Evaluation of Deep Reinforcement Learning Algorithms for Portfolio Optimisation ใช้ข้อมูลจำลองเพื่อประเมินอัลกอริทึม DRL สำหรับการจัดพอร์ต โดยเลือก Kelly criterion หรือ log utility เป็นเป้าหมาย 14

จุดแข็งของการออกแบบนี้คือ ในกรณีที่ยังไม่มี market impact ผู้วิจัยสามารถหา optimal policy ในเชิงวิเคราะห์ได้ และใช้เป็นขอบเขตอ้างอิงเมื่อเพิ่ม market impact เข้าไป 14 ผลที่รายงานยังชี้ว่าอัลกอริทึม off-policy เช่น DDPG, TD3 และ SAC มีปัญหาในการเรียนรู้ Q-function ที่ถูกต้องเมื่อ reward มีความผันผวนสูง ขณะที่ PPO และ A2C ซึ่งเป็น on-policy และใช้ generalized advantage estimation รับมือกับ noise ได้ดีกว่าในสภาพแวดล้อมที่ศึกษา 14

บทเรียนที่นำไปใช้ได้จริง

ก่อนเชื่อผล backtest ของ DRL ควรถามคำถามที่เข้มกว่า “ผลตอบแทนดีหรือไม่” คือ

เมื่อเรารู้คำตอบที่เหมาะสมในโลกจำลองแล้ว โมเดลเรียนรู้คำตอบนั้นได้จริงหรือไม่?

แนวทางนี้ช่วยตรวจสอบข้อผิดพลาดที่พบได้บ่อย เช่น นิยาม reward ไม่ตรงกับความมั่งคั่งสุทธิ, ลำดับเวลาของการเทรดผิด, การใช้ข้อมูลอนาคตโดยไม่ตั้งใจ, leverage ที่ซ่อนอยู่ หรือการละเลยต้นทุนธุรกรรม

สำหรับความมั่งคั่งเป็นบวกและไม่มี discounting สมการต่อไปนี้เป็นจริง:

$$
\sum_{t=1}^{T}\log\frac{W_t}{W_{t-1}}
=\log\frac{W_T}{W_0}.
$$

ดังนั้น reward เป็น log-growth จึงสอดคล้องกับความมั่งคั่งแบบทบต้นได้โดยตรง แต่หากเพิ่ม reward clipping, entropy bonus, risk penalty หรือ discount factor เป้าหมายที่โมเดลกำลัง optimize จะเปลี่ยนไป นักวิจัยควรระบุ objective ใหม่อย่างตรงไปตรงมา แทนที่จะเรียกรวม ๆ ว่าเป็นการ “เพิ่มการเติบโตระยะยาว”

4) High-order Universal Portfolios: มอง “กลยุทธ์” เป็นสินทรัพย์ชนิดหนึ่ง

งาน High order universal portfolios เสนอให้เพิ่ม Universal Portfolio ที่สร้างไว้แล้วเข้าไปเป็นสินทรัพย์สังเคราะห์ในตลาด จากนั้นสร้าง UP ลำดับสูงขึ้นแบบวนซ้ำ 16 ผู้เขียนรายงานว่าพอร์ตลำดับสูงเหล่านี้แตกต่างจาก Cover UP ดั้งเดิม และสามารถทำลายคุณสมบัติ time-permutation invariance ได้ 16

ในเชิงวิศวกรรม แนวคิดนี้น่าสนใจมากสำหรับแนวทาง strategy-as-an-asset: แทนที่จะจัดสรรเงินเฉพาะระหว่างหุ้น อาจจัดสรรระหว่างผลตอบแทนสุทธิของกลยุทธ์ย่อยหลายชุด

แต่ต้องระวังไม่ให้ผล backtest ดูดีเกินจริง:

• ผลตอบแทนของกลยุทธ์ย่อยต้องหักต้นทุนเทรดภายในกลยุทธ์ก่อน
• ชั้นจัดสรรทุนต้องจัดการการถือครองซ้ำกัน การ netting คำสั่ง และเงินค้ำประกัน
• ไม่ควรมองผลตอบแทนของหลายกลยุทธ์เป็น “สินทรัพย์ที่เทรดได้โดยไร้แรงเสียดทาน”

งานนี้ยืนยันแนวคิดเชิงทฤษฎีของการต่อยอด UP แต่ยังไม่ใช่หลักฐานว่าพอร์ตลำดับสูงจะชนะ UP ดั้งเดิมภายใต้ต้นทุนและข้อจำกัดของตลาดจริง 16

5) Market impact ไม่ใช่รายละเอียดท้ายรายงาน แต่เปลี่ยนคำตอบของการทดลองได้

งาน Realistic Market Impact Modeling for Reinforcement Learning รายงานว่าแบบจำลองต้นทุนส่งผลทั้งต่อผลการดำเนินงานแบบสัมบูรณ์และต่ออันดับสัมพัทธ์ของอัลกอริทึมในทุกสภาพแวดล้อมที่ศึกษา 11 ตัวอย่างที่รายงานคือ PPO ที่ปรับแต่งแล้วให้ผล out-of-sample 20% และ Sharpe 1.06 ภายใต้ baseline แต่ผลตอบแทนลดลงเป็น 15% ภายใต้แบบจำลอง Almgren–Chriss ขณะที่ TD3 เพิ่มจาก 15% เป็น 18% 11

นี่ไม่ใช่งานต่อยอด Cover โดยตรง แต่เป็น “การตรวจสอบด้านกลับ” ที่สำคัญอย่างยิ่งต่อทั้ง DRL และกลยุทธ์เติบโตแบบ Kelly:

• กลยุทธ์ที่ชนะอาจชนะเพราะสมมติฐานต้นทุนเอื้อกับรูปแบบ turnover ของตน
• การหักค่าธรรมเนียมคงที่หลังจบ backtest ไม่เทียบเท่าการใส่ต้นทุนและ impact ลงใน dynamics ของสภาพแวดล้อม
• การเลือกโมเดลจากผลไร้ต้นทุน แล้วค่อยเติมต้นทุนในภายหลัง อาจนำไปสู่อัลกอริทึมที่เลือกผิดตัว

แบบจำลองอย่างง่ายของความมั่งคั่งสุทธิสามารถเขียนได้ว่า

$$
W_t=W_{t-1}(1-c_t)w_t^\top x_t,
\qquad 0\le c_t<1,
$$

และ reward การเติบโตสุทธิคือ

$$
r_t=\log(w_t^\top x_t)+\log(1-c_t).
$$

หากต้นทุนขึ้นกับปริมาณซื้อขาย ควรคำนวณจากน้ำหนักจริงหลังราคาขยับแล้ว ไม่ใช่ดูเพียงส่วนต่างของน้ำหนักเป้าหมาย โดยในกรณีไม่มีการซื้อขายระหว่างงวด น้ำหนักหลังราคาเคลื่อนไหวคือ

$$
\widetilde{w}{t-1,i}=
\frac{w{t-1,i}x_{t-1,i}}
{w_{t-1}^\top x_{t-1}}.
$$

อย่างไรก็ดี สูตรนี้ยังเป็นเพียงแบบจำลองอย่างง่าย ไม่ครอบคลุม bid-ask spread, market impact แบบไม่เชิงเส้น, ข้อจำกัดการยืมหุ้น, financing, order execution และข้อจำกัดของล็อตซื้อขาย

6) เอกสารเสริมที่มีประโยชน์สำหรับการเริ่มต้น

สำหรับฝั่ง growth-optimal investment งาน Risk-Constrained Kelly Gambling ของ Stephen Boyd และคณะ เสนอการเพิ่มข้อจำกัดความเสี่ยงจาก drawdown เข้าไปในปัญหา Kelly และแปลงขอบเขตของความน่าจะเป็นการขาดทุนลงลึกให้เป็นปัญหา convex optimization 13 แม้บริบทเป็นการพนันเชิงคณิตศาสตร์ แต่กรอบคิดสำคัญต่อการออกแบบ sizing คือ: การเพิ่มเป้าหมายเติบโตอย่างเดียวไม่เพียงพอ หากไม่กำหนดข้อจำกัดด้านเส้นทางความมั่งคั่งอย่างชัดเจน

อีกแหล่งหนึ่งคือเอกสาร Online Quantitative Trading Strategies ที่โฮสต์โดย NYU Stern ซึ่งอธิบายการประมาณ Universal Portfolio ด้วย Monte Carlo โดยสุ่มพอร์ตจำนวน (M) ชุดและปรับน้ำหนักตามผลตอบแทนในอดีต 10 เอกสารนี้มีประโยชน์ในฐานะจุดเริ่มต้นด้าน implementation แต่การเป็นเอกสารจากสถาบันการศึกษาไม่ใช่การรับรองว่าโค้ดหรือผล backtest ผ่าน peer review หรือทดสอบด้วยเงินจริงแล้ว 10

คุณค่าต่อการพัฒนากลยุทธ์เชิงปริมาณในปัจจุบัน

1. แยกปัญหา “ทำนาย” ออกจากปัญหา “จัดสรรทุน”

โมเดลทำนายสัญญาณอาจแม่นขึ้น แต่ยังไม่ตอบว่าจะใส่เงินเท่าไรในแต่ละสัญญาณ Universal Portfolio, OCO และ Kelly ช่วยทำให้โจทย์ sizing และ allocation มีโครงสร้างที่วัดผลได้ แทนการส่ง forecast เข้าไปเป็น position โดยตรง

2. มี baseline ที่ตีความได้และตรวจสอบได้

พอร์ตคงที่ย้อนหลังที่ดีที่สุดเป็น comparator สำหรับ OCO ส่วน optimal policy เชิงวิเคราะห์ในโลกจำลองเป็น comparator สำหรับ DRL 814 ทั้งสองแบบดีกว่าการรายงาน cumulative return หรือ Sharpe เพียงอย่างเดียว เพราะช่วยบอกได้ว่าโมเดลกำลังเสียประสิทธิภาพตรงไหน

3. ช่วยจำกัดความซับซ้อนของ DRL ให้อยู่ในจุดที่มีเหตุผล

ควรเริ่มจาก baseline ที่มีโครงสร้างชัดเจน เช่น fixed rebalancing, UP approximation หรือ VB-FTRL แล้วจึงตรวจว่า DRL ให้คุณค่าเพิ่มจากอะไร—เช่น การใช้ state ข้ามเวลา, การตอบสนองต่อ impact, หรือการตัดสินใจภายใต้ข้อจำกัดการดำเนินการ หาก DRL ไม่แสดงส่วนเพิ่มเหล่านี้ การเพิ่มขนาดเครือข่ายไม่ใช่ข้อพิสูจน์ว่ากลยุทธ์ดีขึ้น

4. บังคับให้การประเมินรวม execution ตั้งแต่แรก

งานด้าน market impact แสดงชัดว่า execution assumption สามารถเปลี่ยนข้อสรุปได้ 11 นี่สำคัญอย่างยิ่งสำหรับกลยุทธ์ growth-optimal ซึ่งมักมีความไวต่อ turnover และความผิดพลาดในการประเมินต้นทุน

ข้อจำกัดของหลักฐานที่ต้องยอมรับ

• Universal Portfolio ให้การเปรียบเทียบกับ พอร์ต rebalanced น้ำหนักคงที่ที่เลือกย้อนหลัง ไม่ใช่กับทุกกลยุทธ์ไดนามิก 8
• ผลด้านความซับซ้อนของ VB-FTRL เป็นผลเชิงทฤษฎี ไม่ได้พิสูจน์ latency หรือความเสถียรของระบบ production 7
• งาน Kelly–DRL ที่กล่าวถึงใช้สภาพแวดล้อมจำลอง จึงเป็นหลักฐานด้านการประเมินอัลกอริทึม ไม่ใช่หลักฐานผลกำไรในตลาดจริง 14
• ผลการจัดอันดับ DRL อาจเปลี่ยนได้เมื่อเปลี่ยนแบบจำลองต้นทุนหรือ market impact 11
• ยังมีหลักฐานไม่เพียงพอที่จะสรุปว่า “Universal Portfolio ผสาน DRL” ให้ alpha ที่เสถียร ทำซ้ำได้โดยอิสระ และรองรับเงินลงทุนขนาดใหญ่ในตลาดจริง

ลำดับการทดลองที่แนะนำ

1. สร้าง baseline ก่อน: ทำ wealth recursion, พอร์ต fixed-weight, และตัวเปรียบเทียบ best constant rebalanced portfolio ให้ถูกต้อง
2. ตรวจสอบโลกที่รู้คำตอบ: ใช้สภาพแวดล้อม Kelly ที่หา analytical optimum ได้ เพื่อตรวจ reward, timing และ implementation ของ agent 14
3. เปรียบเทียบ allocation อย่างเป็นธรรม: ทดสอบ equal weight, UP approximation, VB-FTRL และ DRL ด้วยข้อมูล ชุดสินทรัพย์ leverage constraints และต้นทุนเดียวกัน 710
4. เพิ่มความจริงของ execution ทีละชั้น: เริ่มจากไม่มีต้นทุน ต่อด้วย fee และ spread ก่อนเพิ่ม market impact, liquidity และข้อจำกัดคำสั่งซื้อขาย 11
5. ทดสอบนอกตัวอย่างอย่างเข้มงวด: ตรวจ data leakage, walk-forward validation, sensitivity ต่อค่าต้นทุน, capacity และช่วงที่กลยุทธ์ย่อยล้มเหลว

คำถามวิจัยที่น่าเชื่อถือกว่าการถามว่า “DRL ชนะ Universal Portfolio หรือไม่” คือ: ภายใต้ต้นทุนและข้อจำกัดความเสี่ยงเดียวกัน DRL สร้างประโยชน์เหนือ baseline การเติบโตแบบออนไลน์จากข้อมูลสถานะจริง หรือเพียงอาศัยช่องโหว่ของ environment และ backtest?

แหล่งอ้างอิง

• 7 Efficient and Near-Optimal Online Portfolio Selection — VB-FTRL, regret guarantee และความซับซ้อน
• 8 Cover's universal portfolio, stochastic portfolio theory and the numeraire portfolio — ความหมายของ universal guarantee และ comparator แบบย้อนหลัง
• 10 Online Quantitative Trading Strategies — ตัวอย่างการประมาณ Universal Portfolio ด้วย Monte Carlo
• 11 Realistic Market Impact Modeling for Reinforcement Learning — ผลของ cost model ต่อผลลัพธ์และอันดับอัลกอริทึม
• 13 Risk-Constrained Kelly Gambling — Kelly พร้อมข้อจำกัด drawdown ในรูป convex optimization
• 14 Evaluation of Deep Reinforcement Learning Algorithms for Portfolio Optimisation — log utility, analytical benchmark และการประเมิน DRL
• 16 High order universal portfolios — การสร้าง UP ลำดับสูงผ่านสินทรัพย์สังเคราะห์

7: https://arxiv.org/pdf/2209.13932v2
8: https://arxiv.org/html/1611.09631v1
10: https://www.stern.nyu.edu/sites/default/files/2025-05/Glucksman_Lahanis.pdf
11: https://arxiv.org/html/2603.29086v1
13: https://stanford.edu/~boyd/papers/kelly.html
14: https://arxiv.org/pdf/2307.07694
16: https://arxiv.org/abs/2311.13564