Google crea un modelo que predice sobre tablas sin entrenar: adiós a las semanas de ingeniería de datos

Google Research ha presentado TabFM, un modelo fundacional que promete cambiar la forma en que las empresas extraen valor de sus datos tabulares. La gran mayoría de la información corporativa —desde registros financieros hasta bases de datos de clientes— vive en tablas, pero hasta ahora, cada vez que se quería construir un modelo predictivo sobre esos datos, tocaba empezar de cero: limpiar, codificar variables, diseñar características y ajustar hiperparámetros. Un proceso que podía llevar semanas.

TabFM aborda el problema desde otro ángulo: en lugar de entrenar un modelo específico para cada tabla, aprende sobre la marcha a partir del contexto que se le proporciona. Basta con darle un conjunto de ejemplos históricos (filas con sus etiquetas conocidas) y los nuevos datos que se quieren predecir, todo en un mismo "prompt" unificado. En una sola pasada, el modelo devuelve predicciones. Para un analista que quiera estimar la probabilidad de fuga de clientes, esto significa pasar de construir tuberías de datos complejas a una simple llamada API.

¿Por qué no usar directamente un gran modelo de lenguaje (LLM) para esto? Porque los LLM están entrenados con texto, no con datos estructurados, y se atragantan con las tablas. Sus límites de contexto se quedan cortos con miles de filas, parten los números en tokens de forma ineficiente y pierden la noción de qué valor pertenece a qué fila y columna. El investigador de Google Weihao Kong lo resume: hoy es más efectivo pedirle a un LLM que escriba el código para llamar a XGBoost que pedirle que lea la tabla él mismo.

TabFM supera estas limitaciones tratando los datos como una cuadrícula, no como una secuencia de texto. Su arquitectura combina lo mejor de dos enfoques previos: la contextualización profunda de características de TabPFN y la compresión eficiente de filas de TabICL. Primero, un módulo de atención alterna entre columnas y filas para capturar interacciones complejas sin intervención humana. Luego, comprime cada fila en un vector denso, reduciendo drásticamente el coste computacional. Finalmente, un Transformer causal opera sobre esa secuencia comprimida para generar la predicción.

El modelo se entrenó íntegramente con cientos de millones de conjuntos de datos sintéticos, generados mediante modelos causales estructurales que incorporan funciones aleatorias. Esto le ha permitido aprender los patrones matemáticos fundamentales de cómo interactúan las características tabulares, sin necesidad de ver datos reales durante el entrenamiento. Para los desarrolladores empresariales, la promesa es clara: reducir el tiempo de puesta en producción de semanas a segundos.