La IA local ya maneja casi el 89 % de las consultas reales: el estudio 'Inteligencia por Vatio' de Stanford

• Los modelos locales pueden responder correctamente al 88.7 % de las consultas: los modelos con 20 mil millones de parámetros o menos, ejecutándose en hardware de consumo, manejan con éxito la gran mayoría de las solicitudes de una sola vuelta. La precisión varía según el dominio: supera el 90 % en tareas creativas, pero se reduce a alrededor del 68 % en campos técnicos .
• La IPW mejoró 5.3× entre 2023 y 2025: se trata de una ganancia compuesta, impulsada por una mejora de 3.1× en la precisión del modelo por vatio y una ganancia de 1.7× gracias a los avances en hardware .
• La cobertura de consultas locales se disparó: la fracción de consultas que los modelos locales podían manejar competentemente pasó de solo el 23.2 % en 2023 al 71.3 % en 2025 .
• Los aceleradores locales aún tienen margen de mejora: el estudio encontró que los aceleradores locales logran al menos 1.4× menos IPW que los aceleradores empresariales en la nube que ejecutan modelos idénticos, lo que indica un margen significativo para una mayor optimización .

La métrica 'Inteligencia por Vatio' explicada

La IPW es elegantemente simple: divide la precisión que logra un modelo en una tarea determinada por la energía que consume durante la inferencia . Esto contrasta con la práctica común de evaluar los modelos de IA de forma aislada, ignorando el costo energético y los requisitos de hardware.

La métrica captura una idea clave: el modelo más capaz no es necesariamente el más eficiente o práctico. Un modelo pequeño que se ejecuta en una laptop podría ofrecer el 95 % de la precisión de un modelo gigante en la nube utilizando una fracción de la energía .

Enrutamiento híbrido: una reducción de costos del 60 %

Uno de los hallazgos más significativos desde el punto de vista financiero del estudio se refiere a lo que sucede cuando no se elige entre lo local y la nube, sino que se utilizan ambos de manera inteligente.

El enrutamiento oráculo, un sistema hipotético perfecto que asigna cada consulta al modelo más pequeño capaz, teóricamente podría reducir el consumo de energía en un 80.4 %, el cómputo en un 77.3 % y el costo en un 73.8 % en comparación con una implementación solo en la nube .

Un enrutador práctico y realista probado en investigaciones relacionadas logró resultados similares: redujo la energía en un 77.1 %, el cómputo en un 67.1 % y el costo en un 60.2 % en distribuciones de tráfico del mundo real, todo mientras mantenía una precisión de tarea comparable .

Esto no es una posibilidad futurista. La investigación demuestra que las arquitecturas híbridas local-nube ya son viables y pueden reducir drásticamente el costo de servir inferencias de IA.

Lo que esto significa para OpenAI, Anthropic y xAI

El estudio de Stanford no hace predicciones financieras explícitas para ninguna empresa. Sin embargo, la trayectoria que documenta tiene implicaciones claras y estructurales para las empresas de IA que dependen de API en la nube .

Los modelos locales ya cubren aproximadamente el 89 % de las consultas de una sola vuelta a un costo drásticamente menor . La IPW ha mejorado 5.3× en solo dos años y continúa acelerándose . El enrutamiento inteligente podría reducir los costos de inferencia en la nube en un 60 % o más para las consultas restantes que se envían a la nube .

Si esta tendencia se vuelve operativa a escala, los clientes podrían reemplazar la mayoría de sus consultas a la API en la nube con inferencia local de costo casi nulo, reservando las llamadas a la nube solo para el ~11 % de las tareas más difíciles que los modelos locales aún no pueden manejar .

Comentarios que interpretan el estudio han señalado que el futuro de la IA podría presentar modelos 'pequeños, baratos y no rentables' para las empresas de IA de frontera . El incentivo económico se desplaza hacia alternativas locales y de pesos abiertos que socavan los precios de las API en la nube, una dinámica que podría重塑 los modelos de negocio de empresas como OpenAI, Anthropic y xAI.

La tendencia general: la IA se vuelve más barata y rápida

Este estudio es un punto de datos en una tendencia más amplia. El Informe del Índice de IA 2025 de Stanford HAI encontró que el costo de inferencia para un sistema con un rendimiento al nivel de GPT-3.5 se redujo más de 280 veces entre noviembre de 2022 y octubre de 2024 . A nivel de hardware, los costos han disminuido un 30 % anual, mientras que la eficiencia energética ha mejorado un 40 % cada año .

Los modelos de pesos abiertos también están cerrando la brecha con los modelos cerrados, reduciendo la diferencia de rendimiento del 8 % a solo el 1.7 % en algunos puntos de referencia en un solo año .

Una advertencia: el estudio tiene límites

Si bien los resultados son impresionantes, es importante tener en cuenta el alcance. El estudio prueba solo consultas de una sola vuelta: respuestas de chat simples y tareas de razonamiento autónomas. No evalúa los modelos locales en conversaciones de múltiples turnos, razonamiento de contexto largo o flujos de trabajo agentivos complejos, áreas todas donde los modelos en la nube conservan una ventaja significativa .

Los modelos locales probados (≤20B parámetros) tampoco pueden igualar a los mejores modelos en la nube en los problemas más difíciles. Los autores del estudio son claros al respecto: la precisión varía significativamente según el dominio, y la cifra del 88.7 % enmascara un rendimiento más débil en campos técnicos y científicos .

En resumen

El estudio de 'Inteligencia por Vatio' de Stanford proporciona una fuerte evidencia empírica de que la IA local ha cruzado un umbral crítico. Para la mayoría de las consultas cotidianas —tareas creativas, gestión, ventas, entretenimiento— un modelo pequeño en una laptop ya es suficiente . El rápido ritmo de mejora sugiere que esta cobertura solo se expandirá.

Para las empresas, la implicación es clara: la infraestructura de IA más rentable es cada vez más una híbrida, que enruta las consultas simples a modelos locales y reserva la capacidad de la nube para las tareas más difíciles. La era de enviar cada consulta a un modelo masivo en la nube por una tarifa por token podría estar llegando a su fin.