웨이모의 맞춤형 센서 융합 프로세서는 로보택시를 혼자 운전하는 ‘만능 두뇌’라기보다 Waymo Driver의 센서 입력단에 놓인 전용 연산 계층으로 보는 편이 정확하다. 내부적으로 ‘카TPU(carTPU)’라고 불린 것으로 알려진 이 5nm ASIC은 고대역폭 센서 데이터를 받아 전처리와 특징 추출을 수행하고, 여러 센서 정보를 합친 머신러닝 표현을 주행 시스템의 핵심 컴퓨터로 넘긴다. 즉, 차량 전체 자율주행 스택을 대체하는 칩이 아니라 특화된 전단(front end) 실리콘이다.
17
1
‘주행 두뇌’ 앞에 놓인 맞춤형 칩
웨이모는 이 칩을 원시 센서 데이터를 실시간으로 처리·융합하고 신경망까지 실행하도록 설계한 5nm 전용 ASIC이라고 설명했다. 핵심 목표는 센서에서 첫 픽셀이 들어온 순간부터 주행 판단에 사용될 수 있는 표현으로 바뀌기까지의 시간을 줄이는 것이다.
17
19
이 구조에서는 역할 분담이 중요하다. ASIC이 인지 과정의 초반부처럼 계산량이 많고 지연시간에 민감한 작업을 맡는 동안, 차량의 전체 컴퓨팅 플랫폼은 CPU·GPU·기타 가속기를 함께 사용하는 이기종 구조로 작동한다. 작업 조정, 데이터 이동, 기록 같은 비(非)머신러닝 작업도 별도의 연산 자원이 처리한다.
1
따라서 이번 발표를 ‘웨이모가 엔비디아를 칩 하나로 대체했다’고 해석해서는 안 된다. 웨이모는 하드웨어 파트너로 엔비디아와 AMD를 비롯해 마이크론, 삼성전자, 샌디스크, 소시오넥스트, TSMC를 함께 언급했다.
17
3
실시간으로 합치는 센서 데이터
웨이모가 공식적으로 명시한 센서 종류는 다음 세 가지다.
- 라이다: 주변 환경의 3차원 정보 제공
- 레이더: 감지와 거리 측정에서 보완 역할
- 카메라: 고해상도 영상 정보 제공
프로세서는 이들 데이터 스트림을 실시간으로 처리하고 특징을 추출한 뒤, 신경망 기반 센서 융합을 수행한다. 웨이모는 저조도 환경의 인식을 돕는 시간축 노이즈 제거(temporal denoising)도 설명했다.
1
Hot Chips 발표를 다룬 보도에 따르면 이 시스템은 고해상도 카메라 13개를 동시에 처리하며, 카메라·라이다·레이더에서 만들어진 임베딩이 센서 융합 인코더로 입력된다.
15
8 다만 현재 확보된 1차 자료만으로는 마이크 데이터까지 이 프로세서가 융합한다고 독립적으로 확인하기 어렵다. 웨이모의 6세대 센서 제품군에 외부 오디오 수신기가 포함된다는 사실만으로, 마이크가 해당 ASIC에서 융합된다고 단정할 수는 없다.
23
Hot Chips 보도에서 나온 주요 사양
가장 구체적인 수치는 웨이모의 공식 발표문보다 Hot Chips 발표 자료와 이를 다룬 보도에서 제시됐다. 알려진 구성은 다음과 같다.
15
16
| 항목 |
보도된 내용 |
| 공정 |
TSMC 5nm N5 자동차용 공정 |
| 패키지 |
45×45mm FCBGA |
| 다이 면적 |
208mm² |
| 메모리 |
패키지 내장 LPDDR5X |
| 메모리 대역폭 |
273GB/s |
| 전력 |
75W 미만 |
| 머신러닝 성능 |
1,000 TOPS 초과 |
| 호스트 연결 |
PCIe Gen5 x8, 25Gb 이더넷 |
다만 패키지 크기, 다이 면적, 메모리, 전력 수치는 웨이모 공식 발표에서 모두 독립적으로 확인된 세부 정보라기보다 관련 보도에 기반한 사양으로 읽어야 한다. 웨이모의 공식 글은 칩의 목적과 5nm 제조, 이기종 아키텍처, 1,000 TOPS 이상이라는 성능, 파트너 생태계 등을 확인해 주지만, 구현 수준의 상세 수치는 주로 2차 자료에서 나왔다.
17
15
처리량보다 지연시간을 중시한 이기종 설계
보도된 구조에는 웨이모가 직접 설계한 이미지 처리, 비디오 코덱, MIPI 센서 입력, 스크래치패드 메모리 블록이 포함된다. 여기에 외부 GPU 기능, PCIe Gen5, 25Gb 이더넷, 보안 부팅용 IP가 결합되며, 각 처리 요소에는 2MB 뱅크형 SRAM이 탑재된 것으로 전해졌다.
15
16
이 설계의 초점은 단순히 TOPS 숫자를 키우는 데 있지 않다. 웨이모는 결정론적이고 짧은 지연시간의 실행, 그리고 하드웨어와 소프트웨어의 공동 설계를 강조한다. 발표 자료를 다룬 보도에 따르면 대형 ‘메가 커널’을 컴파일러 중심으로 실행해, 센서 입력부터 임베딩 생성까지의 경로를 소프트웨어와 칩 설계가 함께 최적화하도록 했다.
15
차량용 컴퓨팅에서는 이런 접근이 현실적인 이유가 있다. 시스템은 엄청난 양의 데이터를 실시간으로 처리하면서도 전력과 발열, 설치 공간, 진동, 고장 대응이라는 제약을 동시에 견뎌야 한다. 웨이모는 자사 컴퓨팅 플랫폼에 액체 냉각을 적용하고, 서로 독립된 두 개의 컴퓨팅 엔진을 사용해 한쪽에 문제가 생기면 다른 쪽이 넘겨받을 수 있도록 했다고 설명했다.
1
‘1,000 TOPS’만으로는 부족한 이유
1,000 TOPS 이상이라는 수치는 눈길을 끄는 대표 숫자지만, TOPS만으로 자율주행 컴퓨터의 실제 성능을 판단할 수는 없다. 어떤 연산을 기준으로 계산했는지, 모델을 얼마나 효율적으로 실행하는지, 데이터 이동에 얼마나 많은 비용이 드는지, 원시 센서 입력을 얼마나 빠르게 유용한 표현으로 바꾸는지가 함께 중요하다.
웨이모의 설명에서 이 ASIC은 자체 센서 구성과 모델에 맞춰 최적화된 전단 가속기다. 원시 데이터를 범용 중앙 프로세서로 모두 보내는 대신 센서 데이터가 차량에 들어오는 지점 가까이에서 처리해 대역폭 부담과 지연시간을 줄이는 것이 목적이다.
17
2
또한 현재 공개된 자료만으로는 1,000 TOPS 이상이라는 수치가 단일 엔진 기준인지, 이중화된 두 엔진을 합산한 것인지 확정되지 않았다. 따라서 이 숫자를 곧바로 시스템이 실제로 활용할 수 있는 처리량으로 받아들여서는 안 된다.
14
웨이모가 던진 전략적 메시지
다니엘 로젠밴드는 웨이모가 목표로 하는 것을 인간과 비슷한 운전자가 아니라 ‘인간보다 사고가 훨씬 적은 초인적 운전자(superhuman driver)’라고 표현했다. 이 발언은 카메라만으로 주행하려는 접근보다 카메라·라이다·레이더를 함께 사용하는 다중 센서 구성을 옹호하는 맥락에서 나왔다.
6
하드웨어 전략도 같은 방향을 가리킨다. 웨이모는 자율주행에 필요한 조건에 맞춰 센서, 알고리즘, 실리콘을 함께 설계하고 있다. 6세대 Waymo Driver 역시 고해상도 카메라, 이미징 레이더, 라이다가 하나의 통합 시스템으로 작동하는 다중 모달 센서 구성을 사용한다.
22
로젠밴드는 장기적으로 차량 안에서 훨씬 더 큰 AI 모델을 실행하고, 궁극적으로 1조 개 매개변수 규모의 모델을 탑재하며, 차내 컴퓨터를 ‘피자 상자’ 크기에서 노트북 크기로 줄이겠다는 목표도 언급했다. 이는 향후 목표이지, 이번 프로세서에 이미 구현된 기능을 뜻하지 않는다.
6
이번 공개에서 확인할 수 있는 것
이번 발표의 핵심은 웨이모가 로보택시를 혼자 운전할 수 있는 단일 칩을 만들었다는 데 있지 않다. 여러 고대역폭 센서 스트림을 신뢰할 수 있는 저지연 표현으로 변환해, 전체 자율주행 시스템의 핵심 연산부에 전달하는 전문화된 컴퓨팅 파이프라인을 구축하고 있다는 점이 더 중요하다.
공식 발표를 통해 확인되는 핵심은 5nm 맞춤형 센서 처리 ASIC, 1,000 TOPS 이상의 머신러닝 성능, 카메라·라이다·레이더 데이터의 실시간 융합, 이기종 컴퓨팅 플랫폼, 이중화된 처리 엔진, 그리고 폭넓은 하드웨어 파트너 생태계다.
17
1
45×45mm 패키지, 208mm² 다이, 273GB/s LPDDR5X 대역폭, 75W 미만 전력 같은 세부 수치는 설계를 구체적으로 상상하게 해주지만, 현재로서는 주로 Hot Chips 관련 보도에서 나온 정보다.
15
11 이를 종합하면 웨이모는 자율주행을 단순한 AI 연산량 경쟁이 아니라, 지연시간·신뢰성·센서 다양성·전력 효율을 함께 풀어야 하는 엣지 컴퓨팅 및 시스템 엔지니어링 문제로 보고 있다.