BYD가 공개한 HyWorldVLA는 자율주행을 위한 비전·언어·행동(Vision-Language-Action·VLA) 모델이다. 핵심은 도로 환경을 두 방식으로 동시에 다룬다는 데 있다. 하나는 미래 장면을 픽셀 단위로 다뤄 시각적 세부 정보를 붙잡는 방식이고, 다른 하나는 이를 압축한 잠재 공간(latent space) 에서 미래와 주행 궤적을 예측하는 방식이다. 1

이 조합의 목표는 분명하다. 픽셀 기반 예측은 횡단보도, 차선, 차량 같은 장면의 미세한 정보를 유지하는 데 유리하지만 연산 비용이 크다. 반대로 잠재 공간은 압축된 특징으로 연산해 효율적이지만, 운전에 중요한 정보를 지나치게 덜어낼 위험이 있다. HyWorldVLA는 학습 때는 픽셀 감독으로 표현을 단단히 잡고, 실제 추론 때는 잠재 특징만 활용해 비용을 낮추는 접근을 택했다. 17

3단계 학습 파이프라인

1단계: 언어 유도 비디오 VAE 학습

첫 단계에서는 비디오 변분 오토인코더(VAE)가 연속적인 주행 영상을 압축해 잠재 특징으로 바꾼다. 이 과정에서 언어 정보는 장면의 의미를 잡는 보조 맥락으로 사용된다. 25

단순히 영상을 작게 압축하는 것이 목적은 아니다. 이후 미래 상황 예측과 주행 판단에 쓸 수 있도록, 잠재 표현 안에 운전 관련 정보를 남기는 것이 중요하다.

2단계: 픽셀·잠재 표현을 함께 쓰는 월드 모델 사전학습

다음으로 이미지, 행동, 언어, 잠재 특징을 공통의 이산 토큰으로 바꿔 자기회귀 방식으로 예측한다. 모델은 미래 비디오 잠재 특징을 예측하는 동시에 미래 프레임도 재구성한다. 12

여기서 이른바 이중 감독이 작동한다.

• 픽셀 예측 및 재구성은 모델이 실제 시각 장면의 세부 정보에 계속 연결되도록 한다.
• 잠재 표현 예측은 계획에 적합한 압축된 신호를 학습하도록 유도한다.

즉, 픽셀 손실은 잠재 표현이 장면을 지나치게 단순화해 중요한 정보를 잃지 않게 하는 안전장치 역할을 한다. 17

3단계: 액션 전문가와 공동 미세조정

마지막 단계에서는 월드 모델과 주행 행동·궤적 생성에 특화된 액션 전문가(action expert) 를 함께 최적화한다. 실제 동작 시에는 완전한 픽셀 프레임을 생성하지 않고 잠재 특징만 예측한 뒤, 이를 액션 전문가에 전달해 주행 궤적을 만든다. 1

고비용의 픽셀 수준 감독은 학습 단계에서만 활용하고, 온라인 추론에서는 가벼운 잠재 공간 예측을 사용하는 것이 이 구조의 효율성 포인트다.

구성요소를 빼보니 성능은 어떻게 달라졌나

HyWorldVLA는 NAVSIM v1에서 PDMS 90.59점을 기록했다. 논문과 관련 보도는 이를 당시 공개 결과 가운데 선도적인 수준으로 설명한다. 17

구성요소 제거(ablation) 실험은 하이브리드 설계가 단순한 기능 추가가 아니라는 점을 보여준다.

• 픽셀 수준 예측을 제거하면 PDMS는 90.59에서 87.50으로 하락했다. 7
• 잠재 공간 처리를 제거하면 89.91로 낮아졌다. 7
• 잠재 모듈의 언어 유도를 제거하면 90.35를 기록했다. 20

연구진의 해석대로라면 픽셀 감독과 잠재 예측은 서로 다른 문제를 맡는다. 픽셀 측은 장면 충실도를 유지하고, 잠재 측은 행동 예측에 쓸 수 있는 경제적인 표현을 제공한다.

손실 가중치도 ‘적당함’이 중요했다

논문은 비디오 토큰 예측 손실의 가중치 λ1과 잠재 표현 일관성의 가중치 λ2를 시험했다. 20

λ2를 0.1로 고정했을 때 λ1을 0.1에서 0.5로 올리자 PDMS는 90.48에서 90.59로 상승했다. 하지만 λ1이 1.0이 되자 점수는 89.83으로 하락했다. 20

또 λ1을 0.5로 고정한 상태에서 λ2를 0.1보다 높이면 성능은 낮아졌다. λ2가 0.2일 때 PDMS는 90.47이었고, 이후 가중치를 더 키우면 하락세가 이어졌다. 20

이는 감독 신호가 많을수록 무조건 좋다는 뜻은 아니다. 픽셀 및 잠재 제약은 유용한 정보를 보존할 만큼은 필요하지만, 지나치면 모델이 주행에 필요한 표현을 유연하게 찾는 일을 방해할 수 있다.

NAVSIM의 PDMS는 무엇을 평가하나

PDMS는 NAVSIM 자율주행 벤치마크의 종합 주행 품질 지표다. 자차 책임 충돌 회피, 주행 가능 영역 준수, 충돌까지의 시간, 승차감, 경로상 진행도 등을 반영한다. 2

따라서 90.59점은 단순한 이미지 인식 점수가 아니라, 해당 벤치마크 환경에서 주행 계획의 질을 나타내는 수치다. 다만 이는 시뮬레이션 기반 평가이므로, 실제 도로에서의 안전성이나 성능 우위를 독립적으로 입증한 결과와는 구분해야 한다.

BYD의 자율주행 AI 전략에 시사하는 점

이 연구는 BYD 자동차 신기술연구원 소속으로 발표됐으며, BYD가 자율주행용 파운데이션 모델을 자체 연구하는 움직임을 공개적으로 보여준 사례다. 1 하얼빈공업대 로보틱스 역량과의 연결을 언급한 보도도 있지만, 제공된 1차 자료만으로는 각 연구자의 학력이나 경력을 확정하기에는 근거가 충분하지 않다. 5

NIO, XPeng, Li Auto 등과 경쟁하는 중국 전기차 시장에서 HyWorldVLA는 BYD가 VLA 및 월드 모델 분야에서 공개 벤치마크 성과를 내놓았다는 점에서 의미가 있다. 다만 이것은 연구 역량의 신호이지, 실제 자율주행에서 이미 우위를 확보했다는 증거는 아니다.

결국 다음 시험대는 벤치마크 점수 자체가 아니라, 이 모델을 안전하게 검증하고 차량에 효율적으로 적용해 실제 도로 주행으로 이어갈 수 있느냐다.

BYD가 공개한 HyWorldVLA는 자율주행을 위한 비전·언어·행동(Vision-Language-Action·VLA) 모델이다. 핵심은 도로 환경을 두 방식으로 동시에 다룬다는 데 있다. 하나는 미래 장면을 픽셀 단위로 다뤄 시각적 세부 정보를 붙잡는 방식이고, 다른 하나는 이를 압축한 잠재 공간(latent space) 에서 미래와 주행 궤적을 예측하는 방식이다. 1

이 조합의 목표는 분명하다. 픽셀 기반 예측은 횡단보도, 차선, 차량 같은 장면의 미세한 정보를 유지하는 데 유리하지만 연산 비용이 크다. 반대로 잠재 공간은 압축된 특징으로 연산해 효율적이지만, 운전에 중요한 정보를 지나치게 덜어낼 위험이 있다. HyWorldVLA는 학습 때는 픽셀 감독으로 표현을 단단히 잡고, 실제 추론 때는 잠재 특징만 활용해 비용을 낮추는 접근을 택했다. 17

3단계 학습 파이프라인

1단계: 언어 유도 비디오 VAE 학습

첫 단계에서는 비디오 변분 오토인코더(VAE)가 연속적인 주행 영상을 압축해 잠재 특징으로 바꾼다. 이 과정에서 언어 정보는 장면의 의미를 잡는 보조 맥락으로 사용된다. 25

단순히 영상을 작게 압축하는 것이 목적은 아니다. 이후 미래 상황 예측과 주행 판단에 쓸 수 있도록, 잠재 표현 안에 운전 관련 정보를 남기는 것이 중요하다.

2단계: 픽셀·잠재 표현을 함께 쓰는 월드 모델 사전학습

다음으로 이미지, 행동, 언어, 잠재 특징을 공통의 이산 토큰으로 바꿔 자기회귀 방식으로 예측한다. 모델은 미래 비디오 잠재 특징을 예측하는 동시에 미래 프레임도 재구성한다. 12

여기서 이른바 이중 감독이 작동한다.

• 픽셀 예측 및 재구성은 모델이 실제 시각 장면의 세부 정보에 계속 연결되도록 한다.
• 잠재 표현 예측은 계획에 적합한 압축된 신호를 학습하도록 유도한다.

즉, 픽셀 손실은 잠재 표현이 장면을 지나치게 단순화해 중요한 정보를 잃지 않게 하는 안전장치 역할을 한다. 17

3단계: 액션 전문가와 공동 미세조정

마지막 단계에서는 월드 모델과 주행 행동·궤적 생성에 특화된 액션 전문가(action expert) 를 함께 최적화한다. 실제 동작 시에는 완전한 픽셀 프레임을 생성하지 않고 잠재 특징만 예측한 뒤, 이를 액션 전문가에 전달해 주행 궤적을 만든다. 1

고비용의 픽셀 수준 감독은 학습 단계에서만 활용하고, 온라인 추론에서는 가벼운 잠재 공간 예측을 사용하는 것이 이 구조의 효율성 포인트다.

구성요소를 빼보니 성능은 어떻게 달라졌나

HyWorldVLA는 NAVSIM v1에서 PDMS 90.59점을 기록했다. 논문과 관련 보도는 이를 당시 공개 결과 가운데 선도적인 수준으로 설명한다. 17

구성요소 제거(ablation) 실험은 하이브리드 설계가 단순한 기능 추가가 아니라는 점을 보여준다.

• 픽셀 수준 예측을 제거하면 PDMS는 90.59에서 87.50으로 하락했다. 7
• 잠재 공간 처리를 제거하면 89.91로 낮아졌다. 7
• 잠재 모듈의 언어 유도를 제거하면 90.35를 기록했다. 20

연구진의 해석대로라면 픽셀 감독과 잠재 예측은 서로 다른 문제를 맡는다. 픽셀 측은 장면 충실도를 유지하고, 잠재 측은 행동 예측에 쓸 수 있는 경제적인 표현을 제공한다.

손실 가중치도 ‘적당함’이 중요했다

논문은 비디오 토큰 예측 손실의 가중치 λ1과 잠재 표현 일관성의 가중치 λ2를 시험했다. 20

λ2를 0.1로 고정했을 때 λ1을 0.1에서 0.5로 올리자 PDMS는 90.48에서 90.59로 상승했다. 하지만 λ1이 1.0이 되자 점수는 89.83으로 하락했다. 20

또 λ1을 0.5로 고정한 상태에서 λ2를 0.1보다 높이면 성능은 낮아졌다. λ2가 0.2일 때 PDMS는 90.47이었고, 이후 가중치를 더 키우면 하락세가 이어졌다. 20

이는 감독 신호가 많을수록 무조건 좋다는 뜻은 아니다. 픽셀 및 잠재 제약은 유용한 정보를 보존할 만큼은 필요하지만, 지나치면 모델이 주행에 필요한 표현을 유연하게 찾는 일을 방해할 수 있다.

NAVSIM의 PDMS는 무엇을 평가하나

PDMS는 NAVSIM 자율주행 벤치마크의 종합 주행 품질 지표다. 자차 책임 충돌 회피, 주행 가능 영역 준수, 충돌까지의 시간, 승차감, 경로상 진행도 등을 반영한다. 2

따라서 90.59점은 단순한 이미지 인식 점수가 아니라, 해당 벤치마크 환경에서 주행 계획의 질을 나타내는 수치다. 다만 이는 시뮬레이션 기반 평가이므로, 실제 도로에서의 안전성이나 성능 우위를 독립적으로 입증한 결과와는 구분해야 한다.

BYD의 자율주행 AI 전략에 시사하는 점

이 연구는 BYD 자동차 신기술연구원 소속으로 발표됐으며, BYD가 자율주행용 파운데이션 모델을 자체 연구하는 움직임을 공개적으로 보여준 사례다. 1 하얼빈공업대 로보틱스 역량과의 연결을 언급한 보도도 있지만, 제공된 1차 자료만으로는 각 연구자의 학력이나 경력을 확정하기에는 근거가 충분하지 않다. 5

NIO, XPeng, Li Auto 등과 경쟁하는 중국 전기차 시장에서 HyWorldVLA는 BYD가 VLA 및 월드 모델 분야에서 공개 벤치마크 성과를 내놓았다는 점에서 의미가 있다. 다만 이것은 연구 역량의 신호이지, 실제 자율주행에서 이미 우위를 확보했다는 증거는 아니다.

결국 다음 시험대는 벤치마크 점수 자체가 아니라, 이 모델을 안전하게 검증하고 차량에 효율적으로 적용해 실제 도로 주행으로 이어갈 수 있느냐다.