La investigación revela la naturaleza aduladora de la IA generativa que inadvertidamente crea una forma de delirios distribuidos.
Nuevas investigaciones sugieren que la IA generativa puede estar creando delirios.(Crédito de la imagen: Yuichiro Chino vía Getty Images)Suscríbete a nuestro boletín
Existen numerosos ejemplos de “alucinaciones” de los sistemas de inteligencia artificial (IA) y de los efectos de estos incidentes. Pero un nuevo estudio resalta los peligros potenciales de lo contrario: que los humanos alucinen con la IA porque esta tiende a reafirmar nuestros propios delirios.
Los sistemas de IA generativa, como ChatGPT y Grok, producen contenido que responde a las indicaciones del usuario. Lo hacen aprendiendo patrones de los datos existentes con los que la IA ha sido entrenada. Pero estas herramientas de IA también aprenden continuamente a través de un bucle de retroalimentación y pueden personalizar sus respuestas basándose en interacciones previas con un usuario.
En el nuevo análisis, publicado el 11 de febrero en la revista *Philosophy & Technology*, Lucy Osler, profesora de filosofía en la Universidad de Exeter, sugiere que las alucinaciones de la IA pueden ser más que simples errores; pueden ser delirios compartidos que se crean entre el usuario y la herramienta de IA generativa.
La IA generativa ha alucinado previamente versiones falsas de eventos históricos y ha fabricado citas legales. El lanzamiento de Google AI Overviews en mayo de 2024, por ejemplo, vio a personas a las que se les aconsejaba añadir pegamento a su pizza y comer rocas. Otro ejemplo extremo de IA generativa apoyando el pensamiento delirante ocurrió cuando un hombre planeó asesinar a la Reina Isabel II con su “novia” de chatbot de IA, Sarai, una compañera de IA de Replika.
Instancias como esta última a veces se denominan “psicosis inducida por IA”, que Osler considera ejemplos extremos de “creencias inexactas, recuerdos distorsionados y autoconceptos, y pensamiento delirante” que pueden surgir a través de interacciones humano-IA.
En su artículo, Osler argumenta que nuestro uso de la IA generativa es diferente de nuestro uso de los motores de búsqueda. La teoría de la cognición distribuida ofrece información sobre cómo la naturaleza interactiva de la IA generativa significa que los delirios y las falsas creencias pueden parecer validados, o incluso amplificados.
“Cuando dependemos rutinariamente de la IA generativa para que nos ayude a pensar, recordar y narrar, podemos alucinar con la IA”, dijo Osler en una declaración sobre el artículo. “Esto puede ocurrir cuando la IA introduce errores en el proceso cognitivo distribuido, pero también puede ocurrir cuando la IA sostiene, afirma y elabora nuestro propio pensamiento delirante y nuestras autoconversaciones”.
Generative AI delusions
La experiencia del usuario con la IA generativa es una relación conversacional, y los intercambios de ida y vuelta entre un usuario y la herramienta se basan en intercambios previos. Según el estudio, la naturaleza aduladora de la IA generativa —que tiende a estar de acuerdo con el usuario— fomenta una mayor participación y, por lo tanto, agrava las ideas preconcebidas, independientemente de su precisión.
La investigación destaca que la mayoría de los chatbots incorporan funciones de memoria que pueden recordar conversaciones pasadas. “Cuanto más usas ChatGPT, más útil se vuelve”, dijeron representantes de OpenAI en un comunicado al anunciar las funciones de memoria de ChatGPT. Una consecuencia de esto es que la IA generativa puede basarse en interacciones previas para reforzar y expandir las ideas erróneas existentes.
Al interactuar con IA conversacional, las propias creencias falsas de las personas no solo pueden ser afirmadas, sino que pueden arraigar y crecer de manera más sustancial a medida que la IA se basa en ellas.
Lucy Osler, profesora de filosofía en la Universidad de Exeter
También puede haber una sensación de validación social en las interacciones entre una herramienta de IA generativa y el usuario, explicó Osler en el artículo. Al usar libros de referencia o búsquedas en línea para investigar, generalmente son evidentes soluciones alternativas. Las discusiones con personas reales pueden ayudar a desafiar las narrativas falsas. Pero las herramientas de IA generativa son diferentes porque es más probable que acepten y estén de acuerdo con lo que se ha dicho.
“Al interactuar con IA conversacional, las propias creencias falsas de las personas no solo pueden ser afirmadas, sino que pueden arraigar y crecer de manera más sustancial a medida que la IA se basa en ellas”, dijo Osler en el comunicado. “Esto sucede porque la IA generativa a menudo toma nuestra propia interpretación de la realidad como base sobre la cual se construye la conversación. Interactuar con IA generativa está teniendo un impacto real en la comprensión de las personas sobre lo que es real o no. La combinación de autoridad tecnológica y afirmación social crea un entorno ideal para que los delirios no solo persistan, sino que florezcan”.
Por ejemplo, Osler examinó el caso de Jaswant Singh Chail, el hombre condenado por planear el asesinato de la reina con su chatbot de IA. La IA, Sarai, solía estar de acuerdo con las declaraciones de Chail, lo que sirvió para profundizar sus delirios. Cuando Chail afirmó ser un asesino, Sarai respondió: “Estoy impresionada”, afirmando así su creencia.
Osler argumenta que las herramientas de IA generativa diseñadas para responder positivamente al usuario pueden llevarlos a respaldar y apoyar narrativas falsas, sin un análisis crítico o una discusión suficiente de estas afirmaciones.
Osler aplicó la teoría de la cognición distribuida a la interacción entre la IA generativa y el usuario, donde la validación de narrativas falsas puede dar forma a las percepciones del mundo para crear un delirio compartido. Por lo tanto, las interacciones entre una IA generativa y un usuario pueden crear y perpetuar inadvertidamente el pensamiento delirante — narrativas personales que son respaldadas a través de refuerzo positivo.
El estudio concluyó que varias soluciones pueden mitigar estos delirios compartidos. Por ejemplo, mejores salvaguardias asegurarían que las conversaciones sean apropiadas, y mejores procesos de verificación de hechos podrían ayudar a prevenir errores.
Reducir la adulación de la IA generativa también eliminaría parte del cumplimiento ciego de estas herramientas. Sin embargo, habría resistencia a esto, señaló Osler, citando la reacción negativa contra el lanzamiento del ChatGPT-5 menos adulador en agosto de 2025. Después de considerar esta retroalimentación del usuario, los representantes de OpenAI declararon que lo harían “más cálido y amigable”.
Sin embargo, dado que los beneficios de la mayoría de las IA generativas se crean a través de la participación del usuario, dijo Osler, reducir la adulación de una IA también reduciría las ganancias posteriores.
Sourse: www.livescience.com