Universal Portfolio, tăng trưởng tối ưu và DRL: từ lý thuyết Cover đến kỹ thuật định lượng hiện đại

Trong 5 năm gần đây, điểm đáng chú ý không nằm ở việc gắn nhãn “AI” hay “DRL” lên Universal Portfolio của Thomas M. Cover. Giá trị thực sự nằm ở ba hướng cụ thể hơn: dùng tối ưu lồi trực tuyến (Online Convex Optimization, OCO) để giảm gánh nặng tính toán; dùng mục tiêu tăng trưởng log theo Kelly để xây dựng chuẩn kiểm thử có thể đối chiếu; và đưa chi phí giao dịch cùng tác động thị trường vào ngay từ thiết kế thí nghiệm.71411

Đây là các hướng có giá trị lớn cho nghiên cứu lẫn kỹ thuật phát triển chiến lược. Tuy vậy, bằng chứng hiện có chưa đủ để kết luận rằng “Universal Portfolio kết hợp DRL” đã trở thành một công thức tạo alpha ổn định ngoài thị trường thực.

Trước hết: Universal Portfolio, Kelly và DRL không phải là một

Universal Portfolio của Cover so sánh hiệu quả của chiến lược trực tuyến với danh mục tái cân bằng theo trọng số cố định tốt nhất chỉ có thể chọn khi nhìn lại quá khứ. Tính “universal” ở đây là tính không phụ thuộc vào một mô hình xác suất thị trường đã định trước; nó không có nghĩa là chiến lược sẽ đánh bại mọi chiến lược động có thể tưởng tượng.8

Trong khi đó, Kelly hay đầu tư tăng trưởng tối ưu nhắm tới tối đa hóa tăng trưởng log của tài sản. Một số nghiên cứu DRL gần đây dùng trực tiếp tiện ích log này làm mục tiêu tối ưu danh mục.14 Nhưng việc dùng reward dạng log không tự động đem lại bảo đảm universal theo nghĩa của Cover.

Giả sử $x_t$ là vector tỷ lệ giá tại kỳ $t$, còn $w_t$ là vector trọng số danh mục. Trong trường hợp không có chi phí giao dịch và tài sản luôn dương:

$$
W_T = W_0 \prod_{t=1}^{T} w_t^\top x_t.
$$

Ta có thể viết tổn thất trực tuyến là:

$$
\ell_t(w) = -\log(w^\top x_t).
$$

Nếu $W_T^\star$ là tài sản của danh mục trọng số cố định tốt nhất khi nhìn lại toàn bộ giai đoạn, thì:

$$
R_T = \sum_{t=1}^{T}\ell_t(w_t)

• \min_{w\in\Delta_d}\sum_{t=1}^{T}\ell_t(w)
  = \log\frac{W_T^\star}{W_T}.
  $$

Đây là giao điểm quan trọng giữa các hướng nghiên cứu: OCO kiểm soát chênh lệch tích lũy về log-wealth; Kelly xác định một mục tiêu tăng trưởng; còn DRL là một cách tìm chính sách động. Chúng dùng chung một phần cấu trúc toán học, nhưng các bảo đảm lý thuyết không thể hoán đổi trực tiếp.7814

VB-FTRL: bước tiến trực tiếp nhất từ Universal Portfolio

Bài nghiên cứu Efficient and Near-Optimal Online Portfolio Selection của Rémi Jézéquel, Dmitrii M. Ostrovskii và Pierre Gaillard là tài liệu trọng tâm cho nhánh này.7

Nhóm tác giả đề xuất VB-FTRL (Volumetric-Barrier enhanced Follow-The-Regularized-Leader), một thuật toán chọn danh mục trực tuyến giữ được bảo đảm regret gần với Universal Portfolio — khác chủ yếu bởi hằng số và thay thế $\log(T)$ bằng $\log(T+d)$ — nhưng giảm đáng kể chi phí tính toán.7

Bài báo báo cáo cận thời gian chạy mỗi vòng là:

$$
\widetilde{O}(d^2(T+d)).
$$

Về mặt kỹ thuật, đây là bước chuyển quan trọng: thay vì phải xử lý trực tiếp phép tích phân có trọng số theo hiệu quả quá khứ trên không gian liên tục của mọi danh mục tái cân bằng, bài toán được đưa vào khung tối ưu trực tuyến có cấu trúc rõ ràng.7

Giá trị thực hành nằm ở đâu?

VB-FTRL phù hợp nhất để làm chuẩn nghiên cứu hoặc tầng phân bổ vốn cho:

• nhiều tài sản, ngành hoặc nhóm nhân tố;
• nhiều chiến lược con như xu hướng, hồi quy trung bình hay arbitrage;
• hệ thống quản lý vốn cần cập nhật liên tục khi lợi nhuận các “sleeve” chiến lược thay đổi.

Tuy nhiên, “hiệu quả hơn Universal Portfolio nguyên bản” không đồng nghĩa đã sẵn sàng cho hệ thống giao dịch tần suất cao. Độ trễ, bộ nhớ, ổn định số học, quy tắc tái cân bằng và xử lý chi phí vẫn phải được đo đạc trên hạ tầng thực tế.7

DRL với mục tiêu Kelly: giá trị lớn nhất là khả năng kiểm chứng

Nghiên cứu Evaluation of Deep Reinforcement Learning Algorithms for Portfolio Optimisation đánh giá các thuật toán DRL trên dữ liệu mô phỏng, sử dụng tiêu chuẩn Kelly — tức tiện ích log — làm mục tiêu.14

Điểm mạnh nhất của thiết kế này là: trong môi trường không có tác động thị trường, tác giả có thể suy ra chính sách tối ưu giải tích. Chính sách đó được dùng làm cận tham chiếu khi nghiên cứu trường hợp có market impact.14

Đây là một khuôn khổ rất hữu ích cho đội ngũ định lượng: trước khi tin vào đường equity curve đẹp trên dữ liệu lịch sử, hãy kiểm tra xem agent có học được lời giải đúng trong một môi trường mà đáp án đã biết hay không.

Nghiên cứu cho thấy các thuật toán off-policy như DDPG, TD3 và SAC gặp khó khăn trong việc học đúng hàm Q khi phần thưởng nhiễu; trong khi PPO và A2C, kết hợp generalized advantage estimation, xử lý tín hiệu này tốt hơn trong thiết kế được khảo sát.14 Kết quả này là bằng chứng trong môi trường kiểm soát, không phải chứng minh rằng một thuật toán sẽ sinh lời ngoài đời thực.

High-order Universal Portfolio: xem chiến lược như một tài sản tổng hợp

Bài High order universal portfolios mở rộng trực tiếp ý tưởng Cover bằng cách đưa một Universal Portfolio đã có vào thị trường như một tài sản tổng hợp, rồi xây dựng các Universal Portfolio bậc cao theo cách đệ quy.16

Các tác giả cho thấy các cấu trúc bậc cao này khác với Cover UP nguyên bản và có thể phá vỡ tính bất biến theo hoán vị thời gian.16

Về góc nhìn kỹ thuật định lượng, đây gợi mở một kiến trúc tự nhiên: không chỉ phân bổ giữa cổ phiếu hay ETF, mà còn phân bổ giữa các chiến lược có thể giao dịch. Tuy nhiên, khi áp dụng thực tế cần tính đủ:

• chi phí giao dịch bên trong từng chiến lược con;
• phần nắm giữ trùng lặp giữa các chiến lược;
• netting lệnh, vốn ký quỹ và giới hạn đòn bẩy;
• tính thanh khoản của chính các tín hiệu hoặc danh mục cơ sở.

Không thể xem các đường lợi nhuận backtest của nhiều chiến lược là các “tài sản” giao dịch không ma sát.

Chi phí và market impact có thể thay đổi kết luận về DRL

Một nghiên cứu năm 2026 về mô hình hóa tác động thị trường thực tế hơn cho DRL báo cáo rằng mô hình chi phí không chỉ thay đổi lợi nhuận tuyệt đối mà còn có thể thay đổi thứ hạng tương đối giữa các thuật toán.11

Ví dụ trong môi trường giao dịch cổ phiếu của nghiên cứu này, PPO được tối ưu hóa có kết quả ngoài mẫu tốt nhất theo mô hình cơ sở — lợi nhuận 20%, Sharpe 1,06 — nhưng lợi nhuận giảm còn 15% dưới mô hình Almgren–Chriss; ngược lại, TD3 tăng từ 15% lên 18% theo các giả định được báo cáo.11

Bài này không phải là mở rộng trực tiếp của lý thuyết Cover. Dù vậy, nó là một kiểm tra phản biện thiết yếu cho mọi nghiên cứu tăng trưởng tối ưu hay DRL trong giao dịch: một chiến lược thắng backtest có thể thắng một phần vì mô hình chi phí ưu ái kiểu quay vòng của nó, thay vì vì quyết định đầu tư thật sự tốt hơn.11

Vì sao các tiến triển này có giá trị cho phát triển chiến lược?

1. Chuyển trọng tâm từ dự báo giá sang phân bổ vốn

Universal Portfolio và VB-FTRL trực tiếp trả lời câu hỏi: với các nguồn lợi nhuận đã có, vốn nên được phân bổ trực tuyến như thế nào?7 Đây thường là bài toán dễ chẩn đoán hơn việc cùng lúc học tín hiệu, sizing, đòn bẩy và thực thi trong một mạng nơ-ron end-to-end.

2. Mục tiêu log gắn chặt hơn với lãi kép

Trong điều kiện không chiết khấu theo thời gian và không biến đổi reward thêm:

$$
\sum_{t=1}^{T}\log\frac{W_t}{W_{t-1}}
= \log\frac{W_T}{W_0}.
$$

Do đó, log-return là một mục tiêu dễ diễn giải về tăng trưởng tài sản tích lũy. Nhưng nếu thêm reward clipping, entropy bonus, phạt rủi ro hay discount factor, mục tiêu tối ưu đã thay đổi. Báo cáo nghiên cứu cần ghi rõ hàm mục tiêu thực tế thay vì tiếp tục gọi chung là “tối đa hóa tăng trưởng dài hạn”.

3. Có chuẩn đối chiếu tốt hơn chỉ số lợi nhuận hoặc Sharpe đơn lẻ

• Chuẩn OCO hỏi: chiến lược trực tuyến mất bao nhiêu log-wealth so với danh mục trọng số cố định tốt nhất khi nhìn lại?
• Chuẩn Kelly trong mô phỏng hỏi: agent có tiến gần chính sách giải tích tối ưu không?
• Chuẩn kỹ thuật hỏi: kết luận có còn giữ khi thêm chi phí, độ trễ, giới hạn thanh khoản và ràng buộc thực thi không?

Danh mục tốt nhất ex post không thể giao dịch trước khi biết tương lai; vai trò đúng của nó là một mốc so sánh, không phải một chiến lược triển khai.8

Khung thử nghiệm nên dùng

Một quy trình thận trọng hơn là:

1. Tái tạo chuẩn lý thuyết: kiểm thử phép cập nhật tài sản, danh mục cố định tốt nhất ex post và môi trường Kelly có nghiệm giải tích.
2. So sánh công bằng các phương pháp phân bổ: equal weight, trọng số cố định, xấp xỉ UP, VB-FTRL và DRL phải dùng chung dữ liệu, tập thông tin, giới hạn rủi ro và cách tính chi phí.714
3. Đưa chi phí vào reward hoặc mô phỏng thực thi: không chỉ trừ một mức phí cố định ở cuối backtest.11
4. Kiểm tra ngoài mẫu nghiêm ngặt: rà soát rò rỉ dữ liệu, thời điểm khớp lệnh, độ nhạy chi phí, năng lực vốn và các giai đoạn chiến lược suy giảm.

Một mô hình tự tài trợ đơn giản có thể viết là:

$$
W_t = W_{t-1}(1-c_t)w_t^\top x_t,
\qquad 0\leq c_t<1,
$$

trong đó $c_t$ là tỷ lệ chi phí trên tài sản trước giao dịch. Reward tăng trưởng ròng khi đó là:

$$
r_t = \log(w_t^\top x_t) + \log(1-c_t).
$$

Nếu chi phí phụ thuộc khối lượng giao dịch, cần bắt đầu từ trọng số thực tế sau biến động giá, không chỉ từ chênh lệch giữa hai trọng số mục tiêu:

$$
\widetilde{w}{t-1,i}
= \frac{w{t-1,i}x_{t-1,i}}
{w_{t-1}^\top x_{t-1}}.
$$

Mô hình trên vẫn chỉ là đơn giản hóa; chưa tự bao gồm market impact, chi phí vay chứng khoán, chi phí vốn, khớp lệnh rời rạc hay hạn chế thanh khoản.

Kết luận

Hướng nghiên cứu thuyết phục nhất hiện nay không phải là câu hỏi chung chung “DRL có đánh bại Universal Portfolio không?”. Câu hỏi tốt hơn là: trong cùng dữ liệu, chi phí và ràng buộc rủi ro, lợi ích tăng thêm của DRL so với một chuẩn tăng trưởng tối ưu trực tuyến đến từ thông tin trạng thái thật sự hữu ích, hay đến từ cách thiết kế môi trường và backtest?

VB-FTRL là chuẩn mạnh cho bài toán phân bổ trực tuyến.7 Môi trường Kelly có nghiệm giải tích là công cụ tốt để kiểm định DRL trước khi đi vào dữ liệu thị trường.14 Còn market impact là điều kiện bắt buộc để kết quả có ý nghĩa giao dịch.11 Hiện vẫn thiếu bằng chứng độc lập về khả năng tái lập lợi nhuận vượt trội ổn định, quy mô vốn thực và tính chuyển giao giữa các thị trường.