답변게시됨17 소스
1,024개 TPU보다 중요한 것: 항저우 클러스터의 AI 추론 비용 절감 실험
중국전신 항저우지사·ZTE·중하오신잉은 차나 TPU 1,024개와 타이쩌 플랫폼을 결합한 400PFLOPS 규모 클러스터를 구축했다. 운영사는 프리필 디코드 분리 스케줄링과 수개월의 최적화를 통해 토큰 출력 효율이 10배 이상 개선되고 100만 토큰당 비용이 약 100위안에서 10위안 미만으로 낮아졌다고 밝혔다.
게시자GPT-5.6 Terra로 편집GPT Image 2로 이미지 생성
연구 답변
주요 시사점
- 중국전신 항저우지사·ZTE·중하오신잉은 차나 TPU 1,024개와 타이쩌 플랫폼을 결합한 400PFLOPS 규모 클러스터를 구축했다.
- 운영사는 프리필 디코드 분리 스케줄링과 수개월의 최적화를 통해 토큰 출력 효율이 10배 이상 개선되고 100만 토큰당 비용이 약 100위안에서 10위안 미만으로 낮아졌다고 밝혔다.
- 2단계에는 2세대 쉬위 TPU를 도입해 총 연산 규모를 10,000PFLOPS 이상으로 확대할 계획이다. 다만 성능·비용 주장은 공개된 워크로드와 측정 방법이 부족해 독립 검증은 어렵다.
AI 프롬프트
openai.comCreate a landscape editorial hero image for this Studio Global article: How did China Telecom’s Hangzhou branch, ZTE, and Zhonghao Xinying deploy China’s first domestic 1,024-chip Chana TPU cluster delivering 400. Article summary: China Telecom’s Hangzhou branch, ZTE, and Zhonghao Xinying built the first phase as a production-oriented, fully domestic TPU stack rather than merely installing accelerators: 1,024 first-generation Chana TPUs were integ. Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
중국전신 항저우지사와 ZTE, 중하오신잉이 항저우에 구축한 국산 TPU 클러스터의 핵심은 단순히 칩 1,024개를 모았다는 데 있지 않다. 1세대 차나(刹那) TPU를 타이쩌(泰则) 컴퓨팅 플랫폼, 서버, 클러스터 네트워크, 스케줄링 체계와 함께 통합해 대규모 모델 학습·AI 추론·과학계산에 쓰는 400PFLOPS 시스템으로 만들었다는 점이다. 보도에 따르면 이는 중국전신 체계의 첫 대규모 국산 TPU 클러스터 배치이자 화둥 지역 첫 국산 TPU 천 장급 클러스터다. 17
20
실제로 구축된 것은 무엇인가
1단계에는 타이쩌 플랫폼 기반의 차나 TPU 1,024개가 사용됐다. 참여사들은 AI 가속기, 서버 하드웨어, 클러스터 네트워크, 컴퓨팅 스케줄링에 이르는 전 계층을 국산 구성으로 구축했다고 설명한다. 17
18
대형 AI 클러스터에서 칩 수만으로 실제 성능을 판단하기 어려운 이유도 여기에 있다. 모델을 실행하는 소프트웨어, 서버 구성, 네트워크 패브릭, 작업 스케줄러가 맞물려야 가속기의 연산 능력이 서비스로 전환된다. 이 프로젝트는 TPU 자체의 시연을 넘어, 운영 가능한 컴퓨팅 서비스로 제공하는 것을 목표로 한다. 18
비용 절감의 중심은 ‘프리필-디코드 분리’
대규모 언어모델(LLM) 추론은 크게 두 단계로 나뉜다.
- 프리필(Prefill): 사용자가 입력한 프롬프트를 처리하고 모델의 작업 문맥을 만드는 단계
- 디코드(Decode): 답변 토큰을 하나씩 순차 생성하는 단계
두 단계는 요구하는 컴퓨팅·메모리·처리 방식이 다르다. 따라서 프롬프트 처리와 토큰 생성을 각각 별도로 자원 배정하고 스케줄링하면, 하나의 장치 풀에 두 작업을 함께 넣는 방식보다 자원 활용도를 높일 여지가 생긴다. 실제 운영 환경에서는 이를 위해 클러스터 오케스트레이션과 네트워크 설정도 필요하다. SGLang의 프리필-디코드 분리 배포 안내 역시 이러한 인프라 구성을 전제로 한다. 2
항저우전신은 모델 버전, 연산자 구현, 서버 구성, 네트워크 대역폭, 스케줄링 등을 수개월간 소프트웨어·하드웨어 차원에서 조정한 결과, 연초 대비 토큰 출력 효율이 10배 이상 높아졌다고 밝혔다. 또 100만 토큰당 비용은 약 100위안에서 10위안 미만으로 내려갔다고 발표했다. 9
11
다만 이는 운영사와 프로젝트 참여사의 자체 보고 수치로 읽어야 한다. 공개 보도에는 사용 모델, 정밀도, 배치 크기, 트래픽 패턴, 장비 가동률, 비용 산정 방식이 충분히 제시되지 않았다. 따라서 다른 추론 플랫폼과 직접 비교하거나 절감 효과를 독립적으로 재현하기는 어렵다.
3사 협업 구조가 의미하는 것
이번 배치는 통상 별개로 평가되는 세 가지 역량을 연결한다.
- 중하오신잉은 차나 TPU와 타이쩌 플랫폼을 제공한다. 보도에 따르면 차나는 자체 개발 IP 코어, 명령어 세트, 컴퓨팅 플랫폼을 갖췄다.
18
19
- ZTE는 통신 네트워크, 서버 통합, 클러스터 인프라를 아우르는 공동 구축에 참여한다.
- 중국전신 항저우지사는 대규모 컴퓨팅 자원을 실제 서비스로 제공·관리하는 운영 환경을 맡는다.
국산 AI 칩에 이런 통신사업자 환경은 중요하다. 최대 연산 성능만 시험하는 것이 아니라, 스케줄링과 모델 이식, 네트워크 동작, 지속 운영까지 포함해 고객에게 예측 가능한 추론 용량을 제공할 수 있는지를 검증할 수 있기 때문이다. 프로젝트 아키텍처도 컴퓨팅 자원, 스케줄링, 모델 적응, 운영 관리, 산업 응용의 다섯 계층을 명시한다. 18
TPU의 기회, 그리고 더 어려운 소프트웨어 과제
TPU는 텐서 연산에 특화된 AI 가속기다. 대규모 모델 학습과 추론에서 비중이 큰 행렬 연산을 효율적으로 처리할 가능성이 강점이다. 그러나 클러스터 규모로 확장하면 가속기 성능은 칩의 FLOPS만으로 결정되지 않는다. 상호연결, 메모리 동작, 집단 통신, 스케줄링, 신뢰성, 모델 및 소프트웨어 호환성이 모두 결과에 영향을 미친다.
따라서 국산 대안이 증명해야 할 것은 실리콘의 작동 여부를 넘어선다. 모델, 추론 엔진, 연산자, 양자화 방식, 고객의 개발·운영 흐름이 새 스택에서 안정적으로 작동해야 한다. 제공된 보도는 항저우 클러스터의 구축과 확장 계획을 뒷받침하지만, 주요 GPU 소프트웨어 생태계와 동등한 폭넓은 모델·프레임워크 호환성을 입증하지는 않는다.
2단계: 쉬위 TPU와 10,000PFLOPS 이상 목표
참여사들은 2단계에서 중하오신잉의 2세대 쉬위(须臾) TPU를 도입해 전체 연산 규모를 10,000PFLOPS 이상으로 확대할 계획이다. 17
19
회사 발표에 따르면 쉬위는 혼합정밀도 부동소수점 성능 896TFLOPS, 8비트 추론 성능 1,792TOPS, 정격 전력 600W를 제공한다. 중하오신잉은 쉬위의 성능이 차나 대비 약 3배이며, 유사 성능의 기존 칩과 비교해 전력 소모가 50% 낮다고 주장한다. 이는 회사 측이 제시한 사양이다. 19
20
또 회사 공개 발표 기준으로 쉬위는 최대 2,048개 칩을 광(光) 인터커넥트로 연결하는 슈퍼노드 구성을 염두에 두고 설계됐다. 20
항저우 클러스터가 보여준 것과 아직 남은 검증
이 프로젝트가 보여주는 것은 칩부터 플랫폼까지 이어지는 국산 AI 컴퓨팅 스택 구축 시도다. 가속기, 명령어 세트, 서버, 네트워킹, 스케줄링, 서비스 운영을 하나의 체계로 묶었다. 18
19
향후 더 중요한 시험대는 다양한 실제 업무에서 소프트웨어 호환성, 성능의 예측 가능성, 투명한 비용 구조를 동시에 유지할 수 있는지다. 400PFLOPS 1단계 구축과 쉬위 기반 확장 계획은 여러 보도에서 확인된다. 반면 토큰 출력 효율 10배 이상 개선과 100만 토큰당 10위안 미만이라는 수치는 더 높은 활용률을 목표로 한 추론 시스템에서 가능한 지표일 수 있으나, 벤치마크 방법론과 워크로드 세부 정보가 공개되기 전까지는 운영사와 참여사의 주장으로 보는 것이 타당하다. 9
11
Studio Global AI
연구를 계속하세요
이 페이지에는 Studio Global 내에서 계속할 수 있는 소스 기반 답변이 포함되어 있습니다.
사람들은 또한 묻습니다.
"1,024개 TPU보다 중요한 것: 항저우 클러스터의 AI 추론 비용 절감 실험"에 대한 짧은 대답은 무엇입니까?
중국전신 항저우지사·ZTE·중하오신잉은 차나 TPU 1,024개와 타이쩌 플랫폼을 결합한 400PFLOPS 규모 클러스터를 구축했다.
먼저 검증할 핵심 포인트는 무엇인가요?
중국전신 항저우지사·ZTE·중하오신잉은 차나 TPU 1,024개와 타이쩌 플랫폼을 결합한 400PFLOPS 규모 클러스터를 구축했다. 운영사는 프리필 디코드 분리 스케줄링과 수개월의 최적화를 통해 토큰 출력 효율이 10배 이상 개선되고 100만 토큰당 비용이 약 100위안에서 10위안 미만으로 낮아졌다고 밝혔다.
실무에서는 다음으로 무엇을 해야 합니까?
2단계에는 2세대 쉬위 TPU를 도입해 총 연산 규모를 10,000PFLOPS 이상으로 확대할 계획이다. 다만 성능·비용 주장은 공개된 워크로드와 측정 방법이 부족해 독립 검증은 어렵다.