¿Puede una startup de $15M resolver los dos mayores dolores de cabeza de la infraestructura de IA?

La carrera por construir la infraestructura para la inteligencia artificial se está topando con un muro. El problema ya no es solo conseguir suficientes chips, sino conseguir los chips correctos y encontrar un lugar donde conectarlos. Una nueva startup llamada General Compute cree tener la estrategia para superar ambos obstáculos, y acaba de recaudar 15 millones de dólares para demostrarlo .

Una apuesta por el silicio especializado para una tarea específica

General Compute es una 'neocloud' de inferencia, un tipo de empresa que alquila potencia de procesamiento especializada para la fase de inferencia de la IA, es decir, cuando un modelo ya entrenado genera respuestas para los usuarios. En una industria dominada por las GPU de uso general de Nvidia, General Compute hace una apuesta arriesgada: el mejor chip para la inferencia es un ASIC, un chip diseñado a medida para esta tarea.

La startup ha elegido el nuevo chip SN50 de SambaNova como su arma principal. SambaNova asegura que el SN50 es hasta 5 veces más rápido que los aceleradores de la competencia y puede reducir el costo total de propiedad hasta 3 veces en comparación con los sistemas basados en GPU . Para General Compute, el atractivo reside en la velocidad bruta y la eficiencia para un caso de uso específico y de rápido crecimiento: la IA agéntica.

El CEO, Finn Puklowski, afirma que los chips SN50 generarán entre 600 y 700 tokens por segundo, en comparación con los aproximadamente 250 tokens por segundo de una GPU . Esta velocidad casi 3 veces superior no es solo un dato técnico para presumir; es esencial para los agentes de IA autónomos que necesitan comunicarse entre sí en tiempo real, en bucles de múltiples pasos donde cada milisegundo de latencia importa.

General Compute ha realizado pedidos por 300 millones de dólares en chips SN50 y afirma ser la primera 'neocloud' en desplegarlos . Este movimiento refleja un cambio más amplio en el mercado hacia el silicio optimizado para inferencia, subrayado por la adquisición de Groq por parte de Nvidia por 20 mil millones de dólares y la salida a bolsa de Cerebras valorada en 57 mil millones .

Solucionando la crisis de despliegue en centros de datos

Incluso los mejores chips son inútiles sin un lugar donde encenderlos. El auge de la IA ha creado un enorme cuello de botella en la construcción de centros de datos, con nuevas instalaciones que enfrentan plazos de años y enormes gastos de capital. La respuesta de General Compute es saltarse la construcción por completo.

La clave está en el diseño del hardware. A diferencia de los clústeres de GPU que dominan el entrenamiento de IA, los cuales requieren refrigeración líquida y consumen mucha energía, los chips SN50 de SambaNova se refrigeran por aire y consumen significativamente menos electricidad. Esto significa que no necesitan costosas adaptaciones especializadas y pueden instalarse en una gama mucho más amplia de centros de datos existentes .

Esto abre la puerta a la jugada de infraestructura más creativa de la startup: acuerdos de coubicación con mineros de criptomonedas. A medida que la rentabilidad de la minería de criptomonedas ha disminuido, muchos mineros se han quedado con una infraestructura significativa —edificios con enorme capacidad eléctrica, refrigeración industrial y redes de alta velocidad— en busca de un nuevo propósito . El plan de General Compute es simplemente instalar sus racks SN50 refrigerados por aire en estas instalaciones ya preparadas, obteniendo acceso inmediato a las partes más difíciles del desarrollo de infraestructura de IA sin gastar un solo dólar ni un solo día en nuevas construcciones .

La conclusión

La estrategia de General Compute es una apuesta de dos caras sobre el futuro de la IA. En el lado del hardware, apuesta a que la inferencia para agentes autónomos será un mercado masivo y diferenciado que requiere ASIC especializados, y no GPU de entrenamiento reutilizadas. En el lado logístico, apuesta a que poner los chips en funcionamiento rápidamente, reutilizando la infraestructura existente, es más importante que perseguir ganancias marginales en las especificaciones técnicas. Si acierta, General Compute no será solo un nuevo proveedor de nube; será un modelo a seguir sobre cómo la próxima ola de empresas de IA resolverá los cuellos de botella físicos y financieros más apremiantes de la industria.