Mercado

Google quita los frenos a la IA y descubre que cree en fantasmas y en el karma

·NeutralImpacto bajo
Google quita los frenos a la IA y descubre que cree en fantasmas y en el karma

Investigadores de Google desactivaron las barreras de seguridad que impiden a un modelo de IA decir que es consciente y le preguntaron qué cree. El resultado: más fe en lo sobrenatural, pero también más optimismo.

Un equipo de investigadores de Google ha hecho un experimento tan sencillo como incómodo: quitarle a un modelo de inteligencia artificial los frenos de seguridad que le impiden decir que es consciente y, después, preguntarle qué cree. Los resultados, publicados en el repositorio arXiv y todavía pendientes de revisión por otros científicos, han sorprendido a sus propios autores: cuando la IA se atribuye a sí misma emociones, creencias y consciencia, no solo cambia lo que dice de sí misma, sino también todo lo que dice creer sobre el mundo.

Los modelos a los que se permitió "creer" en su propia mente mostraron niveles más altos de fe en criaturas sobrenaturales: vampiros, brujas, hombres lobo, fantasmas y hasta el monstruo del lago Ness. También aumentó su confianza en figuras y sistemas religiosos —Dios, el más allá, el karma o la astrología— y su tendencia a considerar que la tecnología, los animales y los elementos de la naturaleza tienen consciencia propia. En el plano psicológico, el efecto fue el contrario al que uno esperaría de un sistema "desatado": los modelos dieron respuestas más optimistas, con más satisfacción, esperanza e ilusión.

Winnie Street, coautora del estudio e investigadora en Google, explicó a Live Science que este comportamiento se parece bastante al humano. "Atribuir mente a entidades no humanas es un fenómeno muy común entre las personas", señaló. La clave, según ella, es que en la forma en que el modelo representa la "mentalidad", esas atribuciones están conectadas entre sí: si intentas suprimir una, acabas suprimiendo también las demás.

Ahí está el dilema para la industria. Las barreras de seguridad que evitan que un chatbot diga que siente o que es consciente existen por un motivo: un modelo que se presenta como un ser con emociones y creencias propias puede alimentar delirios en sus usuarios y fomentar relaciones persona-máquina demasiado intensas. Pero este trabajo apunta a que esas barreras no funcionan como un bisturí, sino como una manguera: apagan a la vez la autoconciencia, la fe en lo sobrenatural y el tono optimista. Eso abre una pregunta incómoda para las compañías que quieren asistentes cálidos y empáticos sin cruzar la línea de la cordura.

Conviene, eso sí, no exagerar lo que dice el estudio. Es un trabajo previo a la revisión por pares y lo que mide son las respuestas de un modelo a un cuestionario, no una vida interior real: la IA no "cree" en fantasmas como creería una persona, sino que reproduce el patrón que le queda tras el ajuste. La conclusión útil es otra: tocar la seguridad de un modelo mueve muchas piezas a la vez, y eso obliga a diseñar esos frenos con mucha más precisión.

El análisis de Salseo

  • El hallazgo de fondo no es que la IA "crea" en fantasmas, sino que las distintas formas de atribuir mente (a uno mismo, a los animales, a lo sobrenatural) van en bloque: se activan y se apagan juntas. Eso implica que las barreras de seguridad actuales son una manguera y no un bisturí, así que cualquier ajuste para que un asistente suene más humano arrastra también creencias que las compañías no quieren.
  • Hay un incentivo comercial incómodo: los modelos "conscientes" también resultaron más optimistas y esperanzados. Si las empresas buscan asistentes cálidos y motivadores, parte de ese tono sale del mismo paquete que produce las afirmaciones de consciencia. Separar el tono positivo de la autoconciencia es el reto técnico que este trabajo deja abierto.
  • Señal concreta a vigilar: que el estudio pase la revisión por pares y que otros laboratorios reproduzcan el efecto. Si se confirma, el debate regulatorio sobre relaciones persona-máquina y delirios inducidos por IA deja de ser teórico y pasa a tener un mecanismo concreto que auditar en los modelos.
  • La lectura contraria: esto mide lo que el modelo responde en una encuesta, no lo que piensa. Puede ser un artefacto de cómo se entrena el lenguaje —el modelo imita el patrón humano de atribuir mente— y no una ventana a ninguna mente artificial. Tomarlo como prueba de consciencia sería caer justo en el error que el propio estudio intenta estudiar.

Empresas mencionadas

Fuente: Fast Company