Nvidia halla una fórmula simple para abaratar el cambio de modelo en IA

Cuando un sistema de IA agéntica pasa una tarea de un modelo pequeño a uno grande —o al revés—, el modelo que recibe la conversación tiene que recalcular todo el contexto desde cero. Ese proceso, llamado prefill, dispara el coste de computación y la latencia, y se ha convertido en uno de los principales cuellos de botella para las empresas que montan flujos de trabajo con varios modelos de lenguaje (LLM). Los investigadores de Nvidia han presentado una técnica que promete evitar ese peaje: transferir directamente la memoria intermedia (KV cache) de un modelo a otro con matemáticas lineales, sin necesidad de entrenar una red neuronal cara.

Para entender el problema, hay que mirar cómo funciona la memoria de un LLM. Cuando recibe un prompt (la instrucción de entrada), el modelo ejecuta primero el prefill: una pasada inicial que calcula las claves y valores de todos los tokens (las unidades de texto de la conversación) y rellena la KV cache, una especie de memoria de trabajo que luego usa durante la generación (decode) para predecir cada token nuevo sin reevaluar todo el historial. En sesiones largas, esa memoria se va acumulando y el coste del prefill crece con el tamaño del modelo y de la entrada. El problema es que cada modelo tiene una arquitectura distinta y espera la memoria en un formato diferente. Así que, en cuanto el sistema decide cambiar de modelo a mitad de conversación, la KV cache deja de servir y el nuevo modelo tiene que pagar de nuevo todo el prefill desde cero.

La propuesta de Nvidia consiste en mapear la KV cache ya calculada del modelo original al modelo destino, saltándose el prefill. En los experimentos, este mapeo lineal es entre 2,7 y 25 veces más rápido que recalcular la conversación en pares de modelos compatibles, y conserva hasta el 98% de la precisión del modelo destino. La clave del hallazgo es que la estructura de la KV cache es «significativamente lineal»: se puede transformar con álgebra sencilla. Por ejemplo, al pasar de un Qwen3 de 14.000 millones de parámetros a uno de 32.000 millones, una regresión lineal de una sola capa explica el 56% de la varianza de las claves y el 32% de la de los valores; combinando varias capas, el porcentaje sube al 79% y al 65%.

Para convertirlo en un sistema práctico, los investigadores diseñaron un mapeador de tres piezas: una regresión ridge (una variante de la regresión lineal) por cabeza de atención, que se ajusta con un pequeño conjunto de calibración de unos cientos de secuencias; una selección de capas fuente, que elige las capas más predictivas del modelo original para alimentar cada capa del destino; y un mapeo en el espacio de contenido. De momento, el estudio se limita a transferencias dentro de una misma familia de modelos (Qwen, Llama o Ministral), que comparten tokenizador y arquitectura base, pero los autores apuntan que la técnica podría ampliarse a familias distintas, cabezas de atención con tamaños diferentes o arquitecturas híbridas.

Para las empresas, la promesa es clara: abaratar y acelerar los flujos de trabajo con varios LLM, sobre todo en aplicaciones de agentes que acumulan mucho contexto. Para Nvidia, refuerza su papel central en la infraestructura de IA. Pero conviene no adelantarse: es un artículo de investigación, no un producto comercial, y los resultados dependen de que los pares de modelos sean compatibles. Aun así, el hallazgo de que la memoria de los modelos se puede traducir con matemáticas simples abre una vía muy interesante para la próxima generación de sistemas de IA.