Por qué una conversación perfecta con una IA puede esconder un producto roto

Imagina que le pides a un asistente virtual que te recomiende unas zapatillas para una media maratón. El agente te hace varias preguntas, te sugiere un modelo y tú acabas comprando. Si analizas esa conversación de forma aislada, todo parece perfecto. Pero, ¿y si ese mismo agente, en realidad, está haciendo tres veces más preguntas de las necesarias en esa categoría de producto y muchos usuarios acaban la compra fuera del chat? Ese fallo solo se ve cuando comparas a un grupo de usuarios con otro, no mirando trazas sueltas.

Ese fue el mensaje central que lanzaron Harrison Chase (CEO de LangChain), Hui Zhang (CTO de Conviva) y Emmanuel Turlay (director de ingeniería en CoreWeave) durante el evento VB Transform 2026. Los tres coincidieron en que la industria está cambiando la forma de evaluar a los agentes de inteligencia artificial: ya no basta con puntuar cada conversación por separado, sino que hay que analizar cohortes de usuarios frente a una referencia. Es lo que Zhang llamó "análisis contrastivo".

El problema de fondo es la brecha entre lo que mides y lo que realmente importa. Chase explicó que muchos equipos sufren "parálisis por evaluación": crean conjuntos de pruebas tan exhaustivos que nunca llegan a lanzar el producto. Su consejo es lanzar primero e iterar después, tratando las evaluaciones como un documento vivo de requisitos, no como un examen final. Turlay aportó su propia experiencia: intentó alcanzar una cobertura del 100 % en sus tests y aun así aparecían errores en producción. La clave, según él, está en activar una monitorización amplia desde el principio, detectar las clases de fallos reales y luego construir evaluaciones específicas para esos problemas.

Una vez identificado un fallo, el siguiente paso es decidir quién lo vigila y a qué coste. Turlay recomienda empezar con el modelo más potente disponible para ver si el problema tiene solución y luego ir reduciendo. Si una tarea se puede resolver con un modelo pequeño, se puede muestrear solo una parte del tráfico y usar modelos de código abierto para clasificaciones simples. LangChain fue un paso más allá: afinó un modelo de la familia Qwen de Alibaba para detectar cuándo un usuario cree que el agente se ha equivocado, logrando un rendimiento similar al de Claude Sonnet pero con un coste entre 10 y 100 veces menor. Chase también recordó que no todo requiere un modelo: a veces, unas simples expresiones regulares son suficientes.

Por último, los ponentes abordaron el papel del humano en este circuito. Aunque la automatización avanza, Turlay fue tajante: en sectores como el legal, las finanzas o la salud, alguien tiene que asumir la responsabilidad legal antes de retirar al revisor humano. Zhang añadió que las personas deben seguir siendo las guardianas en los casos extremos, incluso cuando las máquinas superen la precisión humana a gran escala. Chase fue más allá y sugirió que esa verificación humana no es solo una red de seguridad, sino una fuente de datos para seguir mejorando los modelos.