Así funciona el clúster de 1.024 TPU de China Telecom en Hangzhou

La relevancia del despliegue de Hangzhou no está tanto en el titular de las 1.024 unidades como en todo lo que se ha integrado alrededor de ellas. La filial de China Telecom en Hangzhou, ZTE y Zhonghao Xinying combinaron TPU Chana de primera generación con la plataforma de cómputo Taize, servidores, red de clúster y software de planificación para formar un sistema de 400 PFLOPS destinado al entrenamiento de grandes modelos, la inferencia de IA y la computación científica. Las informaciones disponibles lo describen como el primer despliegue a gran escala de un clúster de TPU nacionales dentro de China Telecom y como el primer clúster de TPU nacionales de mil tarjetas de China oriental. 1720

Qué se ha desplegado

La primera fase emplea 1.024 TPU Chana sobre la plataforma Taize de Zhonghao Xinying. Los socios presentan el conjunto como una infraestructura desarrollada en China de extremo a extremo: acelerador, hardware de servidores, red del clúster y planificación de recursos. 1718

La distinción es importante: un gran clúster de IA no es solo un conjunto de aceleradores en bastidores. Su rendimiento útil depende de cómo se coordinan los servidores, la red, el software de los modelos y el planificador de tareas. El objetivo declarado del proyecto es convertir la TPU en un servicio de capacidad de cómputo operable, y no limitarse a demostrar un chip aislado. 18

Por qué separar Prefill y Decode es clave para el coste

La inferencia de un modelo de lenguaje grande tiene dos etapas distintas:

• Prefill procesa la consulta del usuario y construye el contexto de trabajo del modelo.
• Decode genera los tokens de respuesta uno a uno.

Ambas fases exigen recursos de manera diferente. Separarlas permite que una plataforma de inferencia asigne y planifique por separado la capacidad para procesar la petición inicial y para generar tokens, en lugar de obligar a un único grupo de dispositivos a atender ambas cargas con la misma programación. Las implementaciones de producción también requieren orquestación de clúster y configuración de red, como muestra la guía de despliegue de servicios SGLang con separación Prefill–Decode. 2

Hangzhou Telecom afirmó que varios meses de ajuste conjunto de software y hardware —incluidas versiones de modelos, operadores, configuración de servidores, ancho de banda de red y planificación— elevaron en más de diez veces la eficiencia de salida de tokens frente al inicio del año. También comunicó que el coste por millón de tokens bajó de unos 100 yuanes a menos de 10 yuanes. 911

Estas cifras deben leerse como resultados comunicados por el operador, no como pruebas de rendimiento universales de una TPU. Los informes disponibles no detallan los modelos utilizados, la precisión, el tamaño de los lotes, el patrón de tráfico, el nivel de utilización ni el método de cálculo de costes. Por ello, no es posible reproducir de forma independiente los ahorros ni compararlos directamente con otra plataforma de inferencia.

La importancia del modelo de despliegue a tres bandas

El clúster reúne tres capacidades que a menudo se evalúan por separado:

• Zhonghao Xinying aporta la TPU Chana y la plataforma Taize. Según los informes, Chana cuenta con un núcleo de propiedad intelectual, un conjunto de instrucciones y una plataforma de cómputo desarrollados por la empresa. 1819
• ZTE participa en la construcción conjunta de la red de comunicaciones, la integración de servidores y la infraestructura del clúster. 18
• China Telecom Hangzhou proporciona el entorno operativo para suministrar y gestionar capacidad de cómputo a escala.

Para un chip de IA nacional, un entorno de operador de telecomunicaciones permite poner a prueba algo más que las especificaciones máximas del silicio. La planificación, la adaptación de modelos, el comportamiento de la red y la operación continuada determinan si los clientes reciben capacidad de inferencia predecible. La arquitectura del proyecto incluye explícitamente recursos de cómputo, planificación, adaptación de modelos, gestión operativa y aplicaciones sectoriales. 18

La oportunidad y el desafío del software

Una TPU es un acelerador de IA orientado a operaciones tensoriales. Su promesa no reside únicamente en los FLOPS máximos, sino en ejecutar eficientemente cargas de trabajo intensivas en operaciones matriciales, habituales en el entrenamiento y la inferencia de grandes modelos.

Pero, a escala de clúster, el rendimiento del acelerador es inseparable de la interconexión, el comportamiento de la memoria, las comunicaciones colectivas, la planificación, la fiabilidad y la compatibilidad con el software de los modelos.

Por eso, una alternativa nacional debe demostrar más que el funcionamiento de su silicio. Modelos, motores de inferencia, operadores, métodos de cuantización y flujos de trabajo de clientes deben ejecutarse de forma fiable en la nueva pila tecnológica. Las informaciones aportadas respaldan el despliegue de Hangzhou y su expansión prevista, pero no prueban una paridad amplia con los ecosistemas de software de GPU predominantes en distintos modelos y marcos de trabajo.

Segunda fase: Xuyu y el objetivo de 10.000 PFLOPS

Los socios prevén una segunda fase con la TPU Xuyu, de segunda generación de Zhonghao Xinying, que llevaría la capacidad total planificada por encima de los 10.000 PFLOPS. 1719

La compañía indica que Xuyu ofrece 896 TFLOPS de rendimiento de coma flotante de precisión mixta y 1.792 TOPS en inferencia de 8 bits, con un consumo nominal de 600 W. También sostiene que Xuyu alcanza aproximadamente tres veces el rendimiento de Chana y reduce en un 50 % el consumo frente a chips convencionales con un rendimiento comparable. Son especificaciones comunicadas por la empresa. 1920

A nivel de sistema, Xuyu está diseñada para supernodos de hasta 2.048 chips conectados mediante interconexión totalmente óptica, según la presentación pública de la compañía. 20

Qué demuestra realmente el clúster de Hangzhou

El proyecto evidencia un intento de construir una pila nacional de computación para IA desde el chip hasta la plataforma: acelerador, conjunto de instrucciones, servidores, red, planificación y operación del servicio. 1819 La prueba decisiva será comprobar si esa pila puede mantener cargas de producción diversas con software compatible, rendimiento predecible y una economía transparente.

El despliegue de 400 PFLOPS y la expansión prevista con Xuyu han sido ampliamente comunicados. Las afirmaciones más llamativas —más de diez veces de mejora en la eficiencia de salida de tokens y un coste inferior a 10 yuanes por millón de tokens— pueden ser objetivos plausibles para un sistema de inferencia mejor aprovechado, pero por ahora siguen siendo datos de la operadora y los participantes del proyecto mientras no se publiquen la metodología de las pruebas y los detalles de las cargas de trabajo. 911