Google TabFM: predicciones cero-shot con aprendizaje en contexto y atención alterna fila-columna

• Atención a nivel de columna para capturar dependencias entre características.
• Atención a nivel de fila para capturar dependencias entre muestras.

Este mecanismo en dos etapas construye incrustaciones (embeddings) de dimensión fija de filas y columnas, permitiendo al modelo generalizar a estructuras de tabla arbitrarias en el momento de la inferencia . El enfoque combina elementos de modelos fundacionales tabulares anteriores, como la atención fila/columna de TabPFN y el aprendizaje en contexto de TabICL .

Entrenamiento exclusivo con datos sintéticos

TabFM se entrenó íntegramente con cientos de millones de conjuntos de datos sintéticos generados mediante modelos causales estructurales (SCMs) . Este enfoque evita los problemas de escasez y calidad de los datos tabulares de código abierto, muchos de los cuales contienen información sensible o propietaria que no puede utilizarse libremente para el preentrenamiento a gran escala . Al controlar el proceso de generación de datos, Google aseguró un corpus de entrenamiento diverso y bien distribuido sin depender de datos empresariales reales .

Ranking en TabArena: resultados de vanguardia

TabFM se validó en TabArena, un benchmark vivo con puntuación Elo para métodos de ML tabular que cuenta con un ranking público en tabarena.ai . Según los resultados reportados por Google:

• TabFM-Ensemble (que utiliza 32 ensembles con características transversales y SVD) logra resultados de vanguardia en TabArena, liderando el ranking tanto en tareas de clasificación como de regresión .
• TabFM-Single (un solo paso forward sin ensemble) obtiene sólidos resultados de segundo lugar, compitiendo o superando a modelos fundacionales tabulares anteriores como TabPFN v2 y árboles potenciados por gradientes ajustados .

Las puntuaciones Elo exactas dependen del estado en vivo del ranking, pero las cifras de Google muestran a TabFM-Ensemble en la cima en ambos paneles . A principios de julio de 2026, la mejor posición de modelo único en el ranking de clasificación de TabArena la ocupaba TabPFN-3 (Elo 1721), con métodos basados en ensemble como AutoGluon extreme (4h) como el techo general . La entrada de TabFM cambia ese panorama competitivo.

Licencia: modelo dual

TabFM utiliza un modelo de licencia dual:

Los pesos del modelo se publican bajo una licencia no comercial, de código disponible (source-available), lo que significa que no son completamente de código abierto según la definición de la OSI o el marco de cuatro niveles del G7 de 2026 . El código de inferencia y los cuadernos de ejemplo, sin embargo, utilizan la licencia permisiva Apache 2.0 . Este patrón refleja el enfoque de Google con otros modelos de investigación como Gemma (que más tarde pasó a Apache 2.0 para generaciones más nuevas ) y es coherente con la forma en que Prior Labs publica los pesos de los modelos TabPFN bajo términos no comerciales .

Integración con BigQuery a través de AI.PREDICT

Google planea integrar TabFM directamente en BigQuery en las semanas posteriores al anuncio . Los usuarios de BigQuery podrán ejecutar clasificación y regresión cero-shot utilizando el comando SQL AI.PREDICT, siguiendo el patrón de sintaxis de las funciones de inferencia gestionada de BigQuery ML (similar a AI.FORECAST para TimesFM) . La sintaxis esperada es:

Esta integración permitiría a los equipos de datos aplicar predicciones de TabFM directamente en SQL sin gestionar infraestructura ML separada ni implementaciones de modelos . A fecha del anuncio (1 de julio de 2026), esta integración se describía como inminente pero aún no reflejada en las notas de la versión de BigQuery . El ecosistema existente de BigQuery ML ya admite inferencia gestionada para TimesFM (AI.FORECAST), modelos personalizados (ML.PREDICT) y modelos abiertos de terceros de Hugging Face ; TabFM sería el primer modelo fundacional tabular en recibir un acceso directo AI.PREDICT incorporado.

Puntos importantes a considerar

• La publicación oficial del blog de Google Research se realizó el 1 de julio de 2026, por lo que es muy reciente . Algunos detalles (el artículo académico completo, las puntuaciones exactas de TabArena en el momento del lanzamiento y el cronograma preciso de la versión de BigQuery) pueden estar aún en desarrollo.
• No se encontró ningún artículo oficial de Google Research o preprint en arXiv disponible públicamente en el momento de este análisis. Los detalles técnicos de la arquitectura provienen de informes secundarios y la publicación del blog .
• La función AI.PREDICT actualmente documentada para BigQuery ML utiliza ML.PREDICT con un objeto de modelo registrado ; la sintaxis AI.PREDICT para TabFM podría ser un nuevo acceso directo incorporado análogo a AI.FORECAST para TimesFM, aún no documentado en las notas de la versión.
• La licencia no comercial de los pesos de TabFM limita el uso comercial sin un acuerdo por separado, lo que puede afectar los planes de adopción empresarial.