유니버설 포트폴리오와 성장최적투자: OCO·DRL·알고리즘 트레이딩의 최신 접점

먼저 구분해야 할 세 가지

Thomas M. Cover의 유니버설 포트폴리오(Universal Portfolio·UP), 켈리 기준으로 대표되는 성장최적투자(Growth-Optimal Investment), 그리고 **심층강화학습(DRL)**은 서로 밀접하지만 같은 개념은 아니다.

Cover의 고전적 결과는 사후적으로 선택한 최적의 고정 비중 재조정 포트폴리오와 비교해 장기 성장률을 따라가는 문제에 관한 것이다. 여기서 ‘유니버설’은 특정 확률모형을 미리 가정하지 않는다는 의미이지, 모든 동적 매매전략을 이긴다는 뜻은 아니다.8

반면 켈리 기준은 일반적으로 기대 로그자산 성장을 최대화하는 목적함수다. DRL은 이 목표 또는 그 변형을 사용해 상태 의존적·동적 포트폴리오 정책을 학습할 수 있지만, 로그 보상을 쓴다는 사실만으로 Cover의 유니버설리티 보장이 따라오는 것은 아니다.814

자산 가격상대벡터를 $x_t$, 시점 $t$의 투자비중을 $w_t$라 하면, 거래비용이 없고 자산가치가 양수인 단순 설정에서 부는 다음과 같이 쓸 수 있다.

$$
W_T=W_0\prod_{t=1}^{T}w_t^\top x_t.
$$

이에 따라 음의 로그 성장률은 온라인 손실함수가 된다.

$$
\ell_t(w)=-\log(w^\top x_t).
$$

사후 최적의 고정 비중 포트폴리오 부를 $W_T^\star$라고 하면, 누적 후회는 다음처럼 로그 부의 격차로 해석된다.

$$
\sum_{t=1}^{T}\ell_t(w_t)-
\min_{w\in\Delta_d}\sum_{t=1}^{T}\ell_t(w)

\log\frac{W_T^\star}{W_T}.
$$

바로 이 수식이 세 흐름의 접점이다. **온라인 볼록최적화(OCO)**는 누적 로그 부 격차를 다루고, 성장최적투자는 로그 성장 목적을 제공하며, DRL은 시장 상태와 실행 제약을 포함한 동적 정책의 해법 후보가 된다.714

최신 문헌에서 가장 직접적인 진전: VB-FTRL

가장 우선적으로 볼 만한 연구는 Jézéquel, Ostrovskii, Gaillard의 Efficient and Near-Optimal Online Portfolio Selection이다.7

이 연구는 Cover의 온라인 포트폴리오 선택 문제를 직접 계승한다. 제안 알고리즘인 **VB-FTRL(Volumetric-Barrier enhanced Follow-The-Regularized-Leader)**은 유니버설 포트폴리오와 본질적으로 유사한 후회 보장을 지향하면서, 계산량을 크게 줄이는 데 초점을 맞춘다. 논문 초록은 보장에서 $log(T)$가 $log(T+d)$로 대체되는 형태를 언급하며, 라운드당 실행시간을 $\widetilde{O}(d^2(T+d))$로 제시한다.7

이 결과의 실무적 의미는 단순하다. 원래 UP는 연속적인 포트폴리오 공간 전체에 대해 성과 가중 평균을 취하는 구조라 구현과 계산이 부담스러울 수 있다. VB-FTRL 계열은 이를 보다 명시적인 온라인 최적화 구조로 옮겨, 자산배분층 또는 여러 전략 간 자금배분층의 기준선으로 검토할 여지를 넓힌다.7

다만 이론적 효율이 곧바로 초단타 또는 대규모 실거래 환경의 운영 효율을 뜻하지는 않는다. 실제 적용에서는 자산 수, 리밸런싱 빈도, 수치 안정성, 메모리, 주문 제약, 거래비용을 별도로 측정해야 한다.

DRL에서 켈리 목적함수가 중요한 이유

Evaluation of Deep Reinforcement Learning Algorithms for Portfolio Optimisation은 DRL 포트폴리오 최적화를 모의 데이터에서 평가하면서, 켈리 기준의 로그효용을 목적함수로 사용한다.14

특히 시장충격이 없는 경우에는 해석적으로 최적 정책을 도출하고, 시장충격을 추가한 환경에서 이를 성능 참고 상한으로 활용한다.14 이는 화려한 백테스트보다 더 근본적인 질문을 던진다.

정답을 아는 통제된 환경에서, DRL 에이전트는 정말 정답에 가까운 정책을 학습하는가?

이런 설계는 양적전략 개발에서 매우 중요하다. 실제 시장 데이터만으로 학습하면 좋은 성과가 정책의 진짜 학습 결과인지, 데이터 누수인지, 보상 설계 오류인지, 숨은 레버리지 또는 누락된 비용 때문인지 분리하기 어렵다. 해석해가 있는 켈리 환경은 보상함수, 거래 시점, 상태 전이, 액션의 포트폴리오 해석이 정확한지를 먼저 점검할 수 있게 해 준다.14

로그 부의 증분을 보상으로 둘 때, 추가 변형이 없다면 누적 보상은 최종 복리 성장과 직접 연결된다.

$$
\sum_{t=1}^{T}\log\frac{W_t}{W_{t-1}}

\log\frac{W_T}{W_0}.
$$

그러나 보상 클리핑, 할인율, 엔트로피 보너스, 샤프 비율 항, 위험 패널티를 더하면 최적화 대상은 달라진다. 따라서 연구나 전략 문서에서는 단지 ‘장기 성장 극대화’라고 쓰기보다, 실제로 최적화한 목적함수를 명시하는 편이 정확하다.

고차 유니버설 포트폴리오: ‘전략을 자산처럼’ 다루는 발상

High order universal portfolios는 Cover UP를 시장에 새로운 합성자산으로 추가한 뒤, 이를 반복적으로 확장하는 고차 유니버설 포트폴리오를 연구한다.16 논문은 이 고차 구성들이 기존 Cover UP와 구별되며 시간 순열 불변성을 깰 수 있다는 점을 논의한다.16

이를 실무 언어로 옮기면, 개별 주식만 배분 대상이 아니라 다음과 같은 전략 수익흐름 자체가 배분 대상이 될 수 있다는 뜻이다.

• 추세추종, 평균회귀, 차익거래 등 전략 간 자금배분
• 자산군·팩터·섹터 포트폴리오 간 온라인 배분
• 단일 예측모형의 승부보다, 복수 전략의 생존성과 배분 규칙을 함께 관리하는 구조

다만 이는 연구 아이디어이지, 자동적인 실전 우위의 증거는 아니다. 전략을 합성자산으로 취급하려면 각 전략 내부의 거래비용을 먼저 반영해야 하며, 상위 배분 단계에서는 중복 보유, 순액 주문, 증거금·자본 점유, 유동성 제약까지 다시 처리해야 한다.16

거래비용은 마지막에 빼는 숫자가 아니다

2026년 사전공개 연구 Realistic Market Impact Modeling for Reinforcement Learning은 비용 모델이 절대 성과뿐 아니라 알고리즘의 상대적 순위에도 유의미한 영향을 준다고 보고한다.11 예를 들어 연구가 다루는 환경에서는 시장충격 모델의 변경에 따라 PPO와 TD3 등의 성과 비교가 달라질 수 있다.11

이 논문은 Cover 이론의 직접 확장은 아니다. 그러나 성장최적 또는 DRL 기반 전략이 실제로 거래 가능한지를 판단하는 데는 매우 중요한 보완 자료다.

비용을 $c_t$라고 할 때, 단순화한 자기금융 모델은 다음과 같이 쓸 수 있다.

$$
W_t=W_{t-1}(1-c_t)w_t^\top x_t,
\qquad 0\le c_t<1.
$$

그때 순성장 보상은 다음과 같다.

$$
r_t=\log(w_t^\top x_t)+\log(1-c_t).
$$

하지만 비용이 거래량에 따라 달라진다면, 목표비중 변화만으로 거래량을 계산해서는 안 된다. 가격 변동 뒤 실제 보유비중을 반영해야 하며, 시장충격·호가스프레드·차입·이산 주문·체결 지연 같은 요소도 따로 모델링해야 한다.

따라서 연구 설계는 최소한 다음 세 단계로 나누는 편이 낫다.

1. 무비용 환경: 알고리즘과 이론적 기준선이 일치하는지 확인
2. 명시적 수수료 환경: 회전율과 비용 민감도 점검
3. 시장충격·실행제약 환경: 규모가 커져도 거래 가능한지 검증

무비용 백테스트에서 전략을 고른 뒤 마지막에 고정 비용만 일괄 차감하는 방식은, 알고리즘 선택 자체를 왜곡할 수 있다.11

기술 블로그와 구현 자료는 어떻게 활용할까

QuantInsti의 위험제약 켈리 기준 튜토리얼은 예측 모델과 베팅 규모, 즉 포지션 사이징을 분리해 생각하는 입문 자료로 볼 수 있다. 해당 발행 주체의 2025년 게시물은 위험제약 Kelly를 데이터 처리, 기술지표, 머신러닝, 포지션 관리와 연결해 소개한다.

다만 이는 켈리·성장최적 방향의 교육 자료이지, Cover UP의 새로운 이론 보장이나 실거래 수익성을 입증하는 자료는 아니다.

NYU Stern에 공개된 Online Quantitative Trading Strategies 자료는 계산 제약 때문에 몬테카를로 표본추출로 UP를 근사하는 구현을 소개한다.10 이론 알고리즘을 백테스트 구현으로 옮길 때 참고할 수 있지만, 대학 기관에 호스팅됐다는 사실만으로 동료심사 논문 또는 실전 검증 자료가 되는 것은 아니다.10

양적전략 개발에서의 우선순위

현재 증거를 기준으로 보면, 가장 설득력 있는 연구 순서는 엔드투엔드 거래 에이전트를 곧바로 훈련하는 것이 아니다.

1. 이론 기준선 재현: 부의 재귀식, 사후 최적 고정 비중 포트폴리오, 해석해가 있는 켈리 환경을 구현한다.
2. 동일 조건 비교: 동일 데이터, 정보집합, 제약, 비용 모델에서 단순 균등배분·UP 근사·VB-FTRL·DRL 배분기를 비교한다.
3. 실행 가능성 검증: 엄격한 시간외 표본, 데이터 누수 점검, 거래 시점 검증, 비용 민감도, 용량, 전략 붕괴 구간을 평가한다.

가장 생산적인 연구 질문은 ‘딥러닝이 유니버설 포트폴리오를 이기는가’가 아니다. 더 정확한 질문은 다음이다.

같은 비용과 위험 제약 아래에서 DRL의 추가 성과는 유효한 상태 정보와 동적 의사결정에서 나오는가, 아니면 환경 및 백테스트 설정의 산물인가?

이 질문에 답하려면 Cover 계열의 온라인 기준선과 켈리 기반의 검증 환경이 모두 필요하다.

결론: 강한 연구가치, 그러나 실전 초과수익의 자동 증명은 아님

최근 흐름의 가치는 세 가지로 요약된다. 첫째, VB-FTRL은 Cover 문제를 계산 가능한 온라인 최적화로 더 가깝게 끌어왔다.7 둘째, 켈리 로그효용 기반 DRL 평가는 해석적 기준선을 통해 학습 알고리즘을 검증할 길을 제시한다.14 셋째, 시장충격 연구는 비용 가정이 알고리즘 순위를 바꿀 수 있음을 보여준다.11

반대로, 현재 제공된 근거만으로 ‘유니버설 포트폴리오와 DRL의 결합이 실제 시장에서 안정적으로 재현 가능한 초과수익을 낸다’고 결론내리기는 어렵다. 독립 재현, 현실적 비용, 용량 제약, 여러 시장과 기간에 걸친 검증이 필요하다.71114

참고 자료

• 7 Efficient and Near-Optimal Online Portfolio Selection
• 8 Cover's universal portfolio, stochastic portfolio theory and the numeraire portfolio
• 10 Online Quantitative Trading Strategies
• 11 Realistic Market Impact Modeling for Reinforcement Learning
• 14 Evaluation of Deep Reinforcement Learning Algorithms for Portfolio Optimisation
• 16 High order universal portfolios
• QuantInsti 위험제약 Kelly 관련 게시물