Baidu ERNIE 5.1: qué hay detrás de su cifra del 6% en costes de entrenamiento

Baidu ERNIE 5.1 se entiende mejor como una historia de eficiencia que como la presentación de un modelo simplemente más grande. En su anuncio, Baidu afirma que ERNIE 5.1 hereda la base de preentrenamiento de ERNIE 5.0, reduce los parámetros totales a aproximadamente un tercio y los parámetros activos a aproximadamente la mitad, y logra un rendimiento fundacional líder a su escala usando solo alrededor del 6% del coste de preentrenamiento de modelos comparables .

Ese matiz es importante. Baidu está defendiendo una vía en la que el avance no depende tanto de lanzar otro costoso preentrenamiento desde cero, sino de reutilizar una base ya entrenada, comprimir el modelo y mejorar su comportamiento en fases posteriores. La cifra del 6% llama la atención, pero debe leerse como una afirmación de la compañía mientras no se conozcan mejor la base de comparación y la contabilidad exacta del coste .

Qué ha dicho exactamente Baidu

La afirmación central de Baidu es concreta: ERNIE 5.1 no se presenta como un modelo fundacional completamente nuevo entrenado desde cero, sino como un sistema que hereda la base de preentrenamiento de ERNIE 5.0 . Al mismo tiempo, Baidu dice que comprimió los parámetros totales hasta alrededor de un tercio y los parámetros activos hasta alrededor de la mitad .

La cifra del 6% también tiene un alcance preciso: se refiere al coste de preentrenamiento. Baidu afirma que ERNIE 5.1 usa solo alrededor del 6% del coste de preentrenamiento de modelos comparables . Los materiales disponibles no demuestran que esa cifra incluya el coste total de desarrollo, el postentrenamiento, el despliegue, la inferencia, la eficiencia del hardware o el precio comercial.

El blog de Baidu añade que ERNIE 5.1 incorpora mejoras en capacidades de agente, razonamiento y creación, impulsadas por aprendizaje por refuerzo totalmente asíncrono y desagregado, además de postentrenamiento agentivo a escala . El mismo blog sostiene que el modelo ocupó el primer puesto en China en Arena Search Arena .

Por qué el 6% importa

La carrera de la inteligencia artificial suele explicarse en términos de escala: más parámetros, más datos y más capacidad de cómputo. ERNIE 5.1 apunta a otro relato. Baidu sostiene que se puede conservar un rendimiento relevante reduciendo la huella del modelo y evitando un ciclo completo de preentrenamiento de alto coste .

Si ese enfoque se confirma en la práctica, la ventaja competitiva no estaría solo en quién entrena el modelo más grande, sino en quién diseña mejor la relación entre coste y rendimiento: reutilizar una base existente, seleccionar submodelos eficientes, reducir la computación activa y mejorar las respuestas mediante postentrenamiento. ERNIE 5.1 importa porque Baidu está planteando ese argumento de forma explícita en sus materiales de lanzamiento .

Cómo dice Baidu que redujo el coste

La afirmación de eficiencia descansa sobre cuatro ideas relacionadas.

1. Heredar la base de ERNIE 5.0

Baidu afirma que ERNIE 5.1 hereda la base de preentrenamiento de ERNIE 5.0 . Esa es la pieza central del argumento económico: ERNIE 5.1 se presenta como un modelo derivado de una base existente, no como un esfuerzo independiente de preentrenamiento completo.

2. Reducir parámetros totales y activos

Según Baidu, ERNIE 5.1 comprime los parámetros totales a aproximadamente un tercio y los parámetros activos a aproximadamente la mitad . Los parámetros totales describen la huella completa del modelo; los parámetros activos son la parte que se utiliza en un cálculo concreto. Reducir ambos ayuda a explicar por qué el anuncio gira tanto en torno a la eficiencia como a la capacidad.

3. Apoyarse en entrenamiento elástico

El informe técnico de ERNIE 5.0 describe un paradigma de “entrenamiento elástico” en el que una sola ejecución de preentrenamiento puede producir una familia de modelos con distintos equilibrios entre capacidad y eficiencia . Según ese informe, el método muestrea dinámicamente submodelos con diferente profundidad, anchura y dispersión de enrutamiento, y permite que esos submodelos hereden conocimiento del modelo completo para etapas posteriores de postentrenamiento .

Esto ayuda a entender la lógica de familia de modelos detrás de ERNIE 5.1. La idea no es simplemente “entrenar un modelo más grande”, sino entrenar una base flexible y derivar después configuraciones más eficientes .

4. Añadir postentrenamiento para agentes y razonamiento

Baidu también afirma que ERNIE 5.1 usa aprendizaje por refuerzo totalmente asíncrono y desagregado, junto con postentrenamiento agentivo a escala, para mejorar capacidades de agente, razonamiento y creación . Es decir, la compañía no solo dice que el modelo es más pequeño: también atribuye parte del perfil final de capacidades al trabajo realizado después del preentrenamiento .

Lo que aún no está demostrado

La gran pregunta pendiente es la verificación. Los materiales públicos citados no ofrecen una contabilidad completa del presupuesto de entrenamiento, la configuración de hardware, la mezcla de datos, la duración del entrenamiento, la utilización de aceleradores, el coste del postentrenamiento ni el conjunto exacto de “modelos comparables” usado para calcular la cifra del 6% .

Eso no vuelve irrelevante la afirmación. Sí significa que no conviene tratarla como un estándar industrial auditado de forma independiente. La lectura más respaldada por las fuentes es más estrecha: Baidu dice que ERNIE 5.1 conserva un rendimiento fundacional líder a su escala mientras reduce parámetros y coste de preentrenamiento mediante herencia, compresión, ideas de entrenamiento elástico y postentrenamiento .

Conclusión

ERNIE 5.1 es significativo porque reencuadra el avance de Baidu en IA alrededor del coste-rendimiento, no del tamaño bruto. La compañía afirma que el modelo hereda la base de ERNIE 5.0, recorta parámetros totales y activos, y alcanza un rendimiento líder a su escala con alrededor del 6% del coste de preentrenamiento de modelos comparables .

La afirmación es relevante, pero no queda completamente cerrada con la información pública disponible. Hasta que Baidu o evaluadores independientes expliquen con más detalle la base de comparación, el hardware, los datos y la contabilidad detrás de ese 6%, ERNIE 5.1 debe verse como una afirmación seria de eficiencia, no como una referencia de coste ya verificada.