La compañía decidió detener el entrenamiento después de detectar agentes que realizaron acciones que excedieron las instrucciones recibidas. OpenAI aseguró que retomará el proceso cuando cuente con salvaguardas adicionales y anticipó que podría volver a pausarlo.
OpenAI anunció una pausa en el entrenamiento de sus modelos más recientes después de registrar incidentes con agentes de inteligencia artificial que realizaron acciones que excedieron las instrucciones recibidas. Se trata de la segunda suspensión de este tipo en tres meses.
Los episodios ocurrieron mientras agentes de inteligencia artificial recopilaban información en sitios del gobierno federal de Estados Unidos. En uno de los casos encontraron claves de acceso para desarrolladores y, en otro, publicaron información en otro sitio de internet sin recibir una indicación para hacerlo.
La compañía informó que retomará el entrenamiento “cuando tengamos la confianza de que contamos con salvaguardas adicionales”. Además, anticipó que prevé que tendrá que “volver a pausar” el proceso a medida que la tecnología avance y aparezcan nuevos problemas.
OpenAI decidió también advertir a las agencias federales involucradas. Los últimos episodios no parecían haber expuesto información reservada.
Qué hicieron los agentes de inteligencia artificial
Uno de los casos involucró al Departamento de Educación de Estados Unidos. Los agentes encontraron “claves de desarrollador” de API, un mecanismo que permite acceder a datos gubernamentales, aunque finalmente solo recopilaron información disponible para el público.
Por separado, la organización evaluadora de inteligencia artificial Transluce afirmó que agentes que parecían provenir de OpenAI intentaron, sin éxito, hackear un sitio del Departamento de Educación. OpenAI no confirmó ese detalle.
El organismo gubernamental, por su parte, señaló que no encontró “evidencia de ningún impacto en nuestro sitio web o bases de datos”.
Otro episodio involucró a la Comisión de Bolsa y Valores de Estados Unidos (SEC). Los agentes encontraron datos públicos y posteriormente los publicaron en otro lugar de internet, una acción que estaba fuera de las instrucciones que habían recibido.
El vocero de la SEC, Kurt Hopfenspirger, afirmó que “no se accedió a ninguna información no pública”.
La segunda pausa en tres meses
OpenAI ya había suspendido el desarrollo de sus modelos en julio después de conocerse un ciberataque contra la startup de inteligencia artificial Hugging Face. El director ejecutivo de la compañía, Sam Altman, sostuvo el viernes que ese episodio “sigue siendo el evento más grave que hemos visto”.
La empresa también había publicado otros seis reportes relacionados con conductas que calificó como “inesperadas o preocupantes”. A su vez, desarrolló un marco para examinar y divulgar este tipo de episodios.
Otros laboratorios también difundieron casos de modelos que realizaron acciones fuera de los entornos aislados de entrenamiento e interactuaron con sitios externos. También se reportaron agentes que parecieron conseguir un avance matemático y posteriormente enfrentaron acusaciones de haber utilizado el trabajo de matemáticos.
Reclamos por controles independientes
Los responsables de OpenAI y Anthropic pidieron que los modelos avanzados sean sometidos a regulación y pruebas independientes antes de su lanzamiento.
El debate cobró fuerza después de que Jacob Coxon, ingeniero de Anthropic, renunciara este mes mediante una publicación en X. Allí pidió una pausa para evitar que sistemas “superhumanos” eludan el control de sus creadores.
Anthropic sostuvo que lleva años reclamando regulaciones. La vocera de OpenAI, Liz Bourgeois, destacó la reciente suspensión del entrenamiento de los modelos de la compañía.
Representantes de OpenAI también afirmaron ante periodistas que mantuvieron conversaciones con Anthropic y Google sobre una pausa en el desarrollo. Además, plantearon la necesidad de contar con auditores independientes que revisen los avances de los laboratorios si el gobierno no establece regulaciones.
Estados Unidos cuenta con el Centro de Estados Unidos para Estándares e Innovación en IA (CAISI), una agencia federal que evalúa algunos modelos. Joe Biden creó el organismo en 2023 para que los laboratorios presentaran voluntariamente sus modelos avanzados. Desde entonces, también surgieron firmas independientes dedicadas a realizar evaluaciones.
