구글의 '프로즌 V2' 칩, 10배 효율을 노리다

효율 향상이 핵심입니다. 구글 엔지니어들은 프로즌 V2가 최신 TPU 칩보다 전력 소비 단위당 6~10배 더 많은 AI 토큰을 생성할 수 있을 것으로 예상한다고 알려졌습니다 .

배치 일정

The Information의 보도와 이를 인용한 여러 매체에 따르면, 프로즌 V2는 2028년을 목표로 배치될 예정입니다 . 즉, 현재의 8세대 TPU 제품군(Sunfish, Zebrafish)이 배치되어 성숙된 이후에나 서비스에 투입될 수 있습니다.

탈라스(Taalas)의 선례 — 모델을 하드와이어링하면 어떤 일이 일어나는가

스타트업 탈라스(Taalas) 는 이러한 트레이드오프가 실제로 무엇을 의미하는지 정확히 보여줍니다. 2026년 2월, 탈라스는 HC1 칩을 공개했습니다. 이 칩은 라마 3.1 8B(Llama 3.1 8B) 모델 전체(모든 파라미터)를 마스크 롬(Mask ROM)을 사용하여 칩의 트랜지스터 회로에 직접 인코딩하며, 외부 HBM이 전혀 없습니다 .

수치는 놀랍습니다:

• 라마 3.1 8B에서 초당 약 17,000개 토큰 처리
• 엔비디아 B200 대비 약 48배 높은 처리량
• Cerebras 대비 약 10배 빠름
• 동급 GPU 대비 추론당 20배 저렴한 비용 주장
• 백만 토큰당 추론 비용이 0.75센트까지 낮아짐

단점도 그만큼 극적입니다:

• 모델 고정(Lock-in). 정확히 하나의 모델 아키텍처만 실행합니다. 모델이 업데이트되면(새로운 어텐션 메커니즘, 다른 레이어 수 등) 칩을 사용할 수 없습니다 .
• 가중치 업데이트 불가. 파라미터가 물리적으로 인코딩되어 있어 파인튜닝, LoRA 어댑터, 또는 사후 훈련 업데이트를 위해서는 새로운 칩 마스크가 필요합니다 .
• 멀티 모델 서빙 불가. HC1이 있는 데이터센터는 라마 3.1 8B만 서빙할 수 있으며, 다른 LLM은 실행할 수 없습니다 .

탈라스의 창립자는 이 아키텍처를 '마스크 롬 리콜 패브릭(Mask ROM recall fabric)'과 'SRAM 리콜 패브릭(SRAM recall fabric)'을 결합한 것으로 설명했습니다. 이 구조는 모델을 저장하고 모든 KV 캐시 연산을 온칩에서 수행하여 외부 메모리 이동을 완전히 제거합니다 . 이는 프로즌 V2가 사용할 것과 동일한 기본 접근 방식입니다.

프로즌 V2를 추진하는 인프라 위기

구글의 AI 컴퓨팅 역량은 매우 부족한 상황입니다. 구글은 유료 대기업 고객에게조차 접근 권한을 배급하기 시작했습니다. 그 동기를 설명하는 몇 가지 데이터 포인트가 있습니다.

메타 용량 거절 사건(2026년 3월): 구글은 2026년 3월, 메타가 구매하려 했던 제미니 컴퓨팅 용량을 모두 공급할 수 없다고 메타에 통보했습니다 . 이 부족으로 인해 메타의 일부 내부 AI 프로젝트가 지연되었고, 메타는 엔지니어들에게 AI 토큰을 아껴 쓰도록 지시해야 했습니다 .

미처리 주문 규모: 구글 클라우드의 주문 잔고는 2026년 1분기에 거의 두 배로 늘어나 4,620억 달러에 달했습니다. 이는 가용 처리 용량의 약 23배에 해당하는 수요입니다 . CEO 순다르 피차이는 실적 발표에서 이렇게 확인했습니다: "단기적으로 우리는 컴퓨팅 용량에 제약을 받고 있습니다... 그 수요를 충족할 수 있었다면 클라우드 매출이 더 높았을 것입니다" .

광범위한 용량 부족: 구글은 자체 컴퓨팅 격차를 해소하기 위해 SpaceX로부터 약 월 9억 2천만 달러 상당의 엔비디아 GPU를 임대하고 있습니다 . 구글 클라우드 부사장 아민 바닷(Amin Vahdat)은 2025년 11월, 수요를 맞추기 위해 6개월마다 AI 용량을 두 배로 늘려야 할 것이라고 말했습니다 .

이러한 제약이 프로즌 V2를 직접적으로 추진하고 있습니다. 구글이 제미니 추론당 6~10배 더 많은 효율을 얻을 수 있다면, 새로운 데이터센터 없이도 사실상 용량을 몇 배로 늘릴 수 있습니다.

구글이 동시에 추진 중인 다른 AI 칩 이니셔티브

프로즌 V2는 훨씬 더 광범위한 하드웨어 전략의 일부입니다.

1. 8세대 TPU, 학습용과 추론용으로 분할. 2026년 Cloud Next에서 구글은 처음으로 두 가지 목적별 변형으로 분할된 8세대 TPU 제품군을 공개했습니다 :

• TPU 8t "선피시(Sunfish)" — 학습 집중형, Broadcom 설계, TSMC N2 공정 및 CoWoS 패키징 기반, 2027년 하반기 출시 목표
• TPU 8i "제브라피시(Zebrafish)" — 추론 집중형, MediaTek이 I/O 다이를 주도하여 설계

2. 2031년까지의 Broadcom 장기 계약. Broadcom은 SEC 8-K 보고서를 통해 구글의 향후 세대를 위한 맞춤형 TPU 개발 및 공급에 대한 장기 계약(Long Term Agreement)과 2031년까지의 네트워킹 부품 공급 보장 계약(Supply Assurance Agreement)을 공시했습니다 . 별도로, Anthropic은 2027년부터 가동되는 약 3.5GW 규모의 구글 TPU 용량에 대한 계약을 체결했습니다 .

3. OpenAI를 포함한 고객 대상 TPU 임대. 보도에 따르면 구글은 점점 더 많은 외부 AI 기업에 TPU 용량을 임대 제품으로 제공하고 있으며, OpenAI가 고객 중 하나로 지목되었습니다 .

4. MediaTek과의 "아이스피시(Icefish)" 프로젝트. "아이스피시" 코드명은 TPU 8i를 넘어선 구글 특화 맞춤형 칩 프로젝트에 MediaTek이 참여하고 있음을 암시하며, 아마도 저전력 엣지 또는 추론 가속기일 가능성이 있습니다 .

5. Intel과의 논의. 구글은 Intel과 맞춤형 AI 칩 설계에 관한 논의를 한 것으로 알려졌으나, 공식적인 계약은 발표되지 않았습니다 .

6. 7세대 TPU "아이언우드(Ironwood)" 일반 공급. 아이언우드는 2026년 4월 클라우드 고객에게 일반 공급되기 시작했습니다 . 3nm 공정에 듀얼 칩렛 아키텍처로 제작되어 제미니 생태계를 구동하는 MoE(Mixture of Experts) 모델에 최적화되었습니다 .

프로즌 V2가 TPU 라인업을 대체하지 않고 보완하는 방식

The Information의 보도는 프로즌 V2가 구글의 TPU 로드맵을 대체하는 것이 아니라 보완하도록 설계되었다고 명시합니다 . 그 논리는 간단합니다.

• TPU는 범용 AI 컴퓨팅 백본으로 남습니다. TPU는 학습, 다중 모델 서빙, 파인튜닝, 그리고 임의의 고객 모델에 대한 추론을 처리합니다. TPU는 외부 AI 고객을 위한 구글 클라우드의 주요 제품입니다 .
• 프로즌 V2는 구글 자체의 대용량 제미니 추론을 위한 초고도 특화 가속기입니다. 본질적으로 "제미니 어플라이언스" 역할을 하여 가장 예측 가능하고 볼륨이 큰 추론 트래픽을 TPU에서 오프로드하고, TPU 용량을 더 다양한 워크로드와 외부 고객에게 확보해줍니다 .
• 다른 모델, 학습, 유연성은 전혀 없습니다. 프로즌 V2는 모델을 학습시킬 수 없고, 경쟁사의 LLM을 실행할 수 없으며, 제미니 아키텍처 변경에 적응할 수 없습니다. 매우 좁지만 대규모 볼륨의 틈새를 차지합니다 .
• TPU 8i (Zebrafish)와 프로즌 V2는 공존합니다. 추론에 특화된 TPU 8i는 광범위한 추론 워크로드를 처리합니다. 제미니의 아키텍처가 안정화되고 볼륨이 고정 칩을 정당화할 수준이 되면, 프로즌 V2는 극적으로 낮은 전력으로 그 특정 '꼬리(Tail)' 부분을 서빙합니다 .

이는 하이퍼스케일러가 대부분의 워크로드에 범용 CPU를 사용하면서 특정 고볼륨 작업(예: 비디오 트랜스코딩, 네트워킹 오프로드)에는 고정 기능 ASIC을 사용하는 것과 유사합니다. 프로즌 V2는 이에 상응하는 AI 버전입니다. 즉, 프로그래밍 가능한 TPU 함대와 함께 자리 잡는 목적 기반 추론 엔진입니다.