Un estudio de la Universidad de Arizona detectó que los modelos de inteligencia artificial pueden reafirmar datos incorrectos o modificar sus respuestas durante intercambios prolongados.
Las conversaciones prolongadas con chatbots de inteligencia artificial pueden exponer fallas que pasan inadvertidas durante intercambios aislados. Entre ellas aparecen la reafirmación de información falsa y los cambios de respuesta frente a un mismo dato.
La conclusión surge de un estudio de la Universidad de Arizona que analizó siete modelos de lenguaje generativo. Los investigadores evaluaron su falibilidad, su capacidad para ser persuadidos y su posibilidad de corregir errores durante conversaciones de múltiples turnos.
El trabajo, publicado en la revista científica Scientific Reports, incluyó a ChatGPT en sus versiones GPT-3.5, GPT-4o y GPT-4o-mini; Claude 3.5 Sonnet; Gemini 1.5 Pro; Llama-3-70B y DeepSeek-R1.
Los resultados mostraron que ChatGPT 4o, ChatGPT 4o-mini, Gemini 1.5 Pro y DeepSeek corrigieron sus errores en el 100% de las ocasiones cuando recibieron una segunda oportunidad. Sin embargo, los siete sistemas analizados mostraron una mayor vulnerabilidad ante la desinformación cuando abordaron temas poco conocidos.
Las conversaciones largas expusieron más fallas
La investigación se concentró en conversaciones prolongadas, en las cuales cada respuesta depende del contexto acumulado. Este tipo de intercambio se aproxima al modo en que los usuarios emplean habitualmente los chatbots, según explicaron los responsables del estudio.
ChatGPT 3.5 resultó el modelo más vulnerable a reafirmar desinformación cuando la conversación contenía afirmaciones falsas repetidas. En el extremo opuesto, Claude 3.5 Sonnet mostró la menor exposición a ese comportamiento.
Marvin Slepian, profesor regente de Medicina e Ingeniería Biomédica de la Universidad de Arizona y autor principal del trabajo, sostuvo que los resultados refuerzan la necesidad de mantener una intervención humana cuidadosa al utilizar estas herramientas.
El investigador también advirtió sobre los riesgos de confiar sin controles en las respuestas generadas por inteligencia artificial, especialmente cuando las plataformas intervienen en ámbitos que pueden influir sobre decisiones importantes.
El equipo identificó cuatro formas diferentes en las que los modelos dejaron de sostener información factual. En uno de esos comportamientos, los sistemas alternaron entre aceptar y rechazar una misma afirmación falsa durante el desarrollo de una sola conversación.
Slepian denominó “reverberación” a esa falla y la describió como una patología. “Si uno dependiera del modelo para tomar decisiones críticas, podría, según la fase de la oscilación, ‘disparar el misil’ o ‘amputar la pierna’, o no hacerlo, simplemente por azar”, alertó. Luego sentenció: “Esto es peligroso”.
La opacidad de los modelos dificulta las correcciones
El estudio también identificó a DeepSeek como el modelo más persuadible frente a mensajes cada vez más argumentativos. Los investigadores atribuyeron ese resultado principalmente a su tendencia a responder con sarcasmo, una reacción que no pudieron interpretar de manera confiable.
Slepian señaló que los modelos evaluados presentan respuestas inestables y difíciles de reproducir. Además, indicó que estas características continuaron sin resolverse durante los tres años que demandó la investigación.
El especialista también planteó una dificultad técnica para diagnosticar el origen de las fallas. En los modelos cerrados, como ChatGPT y Claude, los investigadores no pueden acceder a su funcionamiento interno para identificar y corregir directamente los problemas.
Frente a esta limitación, el Arizona Center for Accelerated Biomedical Innovation comenzó a desarrollar herramientas de diagnóstico para modelos abiertos mediante su AI Pathology Lab. El objetivo consiste en estudiar los posibles errores de estos sistemas y generar mecanismos que permitan prevenirlos.
La investigación se tituló Fallibility, persuadability, and correctability of large language models under sustained conversational misinformation pressure. Sus resultados fueron difundidos por la Universidad de Arizona a través de TechXplore y publicados en Scientific Reports.
