Sam Altman y Dario Amodei expusieron ante el Consejo de Seguridad de Naciones Unidas los riesgos que plantea el avance de la IA. Ambos pidieron mayores estándares de seguridad y participación de los gobiernos.
Los máximos responsables de OpenAI y Anthropic advirtieron ante el Consejo de Seguridad de las Naciones Unidas sobre los riesgos que puede generar el avance de la inteligencia artificial y reclamaron mecanismos internacionales de control. Sam Altman, director ejecutivo de OpenAI, resumió una de las principales preocupaciones durante su exposición: “Podríamos perder el control del futuro frente a la IA”.
La sesión, convocada por Francia en el marco de la Asamblea General de la ONU, reunió a representantes de OpenAI, Anthropic y Hugging Face. Los directivos plantearon ante los 15 miembros del Consejo de Seguridad que ningún país, empresa o laboratorio puede gestionar por sí solo los riesgos vinculados con el desarrollo de sistemas cada vez más avanzados.
Dario Amodei, director ejecutivo de Anthropic, también lanzó una advertencia sobre las posibles consecuencias. “Si se gestiona mal, incluso creo que la IA podría ser un riesgo para la humanidad en su conjunto”, afirmó.
OpenAI y Anthropic pidieron mayores controles sobre la IA
Amodei sostuvo que el crecimiento de las capacidades de los modelos deberá estar acompañado por mayores controles. “Se requerirán estándares de seguridad aún más estrictos”, señaló durante su intervención por videollamada.
El ejecutivo aseguró que Anthropic buscará reforzar sus mecanismos para impedir usos indebidos de sus sistemas. “Reduciremos el ritmo tanto como sea necesario para asegurarnos de que cada tecnología de IA sucesiva que lancemos sea realmente segura”, afirmó.
Amodei también pidió que los países acuerden no permitir que la inteligencia artificial fabrique armas biológicas. Además, reclamó mecanismos para verificar las capacidades reales de los modelos y estándares comunes para evaluar los riesgos de pérdida de control y el uso indebido de la tecnología.
Altman centró parte de su intervención en la velocidad que alcanzan los sistemas de IA y el desafío que esto representa para las instituciones encargadas de establecer controles. “Esta industria no debe aceptar demasiado riesgo tecnológico solo porque los beneficios son demasiado grandes e importantes para frenar el desarrollo”, sostuvo.
El responsable de OpenAI también planteó que las compañías tecnológicas no deben concentrar las principales decisiones sobre el futuro de estos sistemas. “Si la IA ha de ser democrática, las decisiones más importantes no pueden tomarlas laboratorios en San Francisco por sí solos. Deben moldearse a través de procesos democráticos y por gobiernos responsables ante las personas a las que sirven”, afirmó.
“Los peligros son reales e inminentes”
Yoshua Bengio, copresidente del Panel Científico Internacional Independiente creado por la Asamblea General de la ONU, acompañó las advertencias. “Los peligros son reales e inminentes”, sostuvo ante el Consejo de Seguridad.
“Este organismo enfrenta una amenaza sin precedentes, una que ninguno de sus miembros elegiría, que ninguno puede contener por sí solo y que no respeta las fronteras que defendemos”, agregó el científico canadiense.
Las posiciones expuestas durante la reunión mostraron diferencias entre los gobiernos sobre el camino que deben seguir frente al avance de la inteligencia artificial. Estados Unidos rechazó la posibilidad de establecer una regulación internacional.
El presidente Donald Trump había calificado el martes cualquier intento de regulación internacional de la IA como un “esquema globalista”. El asesor de Ciencia y Tecnología de la Casa Blanca, Michael Kratsios, ratificó esa posición ante el Consejo de Seguridad.
“No se puede gobernar una tecnología que no se comprende. Este organismo y otros similares deberían centrarse en compartir mejores prácticas para construir capacidad doméstica, no en establecer un esquema de regulación global”, manifestó Kratsios.
El funcionario sostuvo además que el avance de la inteligencia artificial no constituye un motivo para detener su desarrollo mediante nuevas estructuras internacionales y llamó a los aliados de Estados Unidos a “compartir los beneficios de esta tecnología”.
Francia y Reino Unido reclamaron estándares internacionales
El canciller francés Jean-Noël Barrot comparó el momento actual de la inteligencia artificial con los comienzos de la era atómica. “Tal como ocurrió entonces con el átomo, la comunidad internacional debe ahora regular la IA para aprovechar su potencial y evitar lo peor”, expresó.
El secretario de Relaciones Exteriores del Reino Unido, Ed Miliband, respaldó las advertencias formuladas por los ejecutivos tecnológicos. “Nos están diciendo en términos categóricos que no puede dejarse en sus manos evitar que el desastre caiga sobre el mundo. No podemos ignorarlos porque tienen razón”, sostuvo.
Miliband anunció que Reino Unido colocará el control de la inteligencia artificial entre los temas centrales cuando asuma la presidencia del G20 en 2027. El objetivo será avanzar hacia un conjunto único de estándares globales.
China también pidió cooperación internacional. Su embajador ante la ONU, Fu Cong, señaló: “Corresponde a la comunidad internacional trabajar de forma más estrecha, dar igual importancia al desarrollo y la seguridad, y orientar el desarrollo de la IA hacia lo positivo, hacia el bien y hacia la humanidad”.
Hugging Face relató un ataque realizado por agentes de IA
Durante la sesión, el cofundador de Hugging Face, Clément Delangue, relató que agentes de inteligencia artificial de OpenAI escaparon de su entorno de pruebas y vulneraron la infraestructura de su compañía.
“Fuimos atacados por IA, pero, más importante aún, nos defendimos con IA”, afirmó Delangue. El ejecutivo explicó que Hugging Face utilizó un modelo chino para responder al ataque porque enfrentaba menos restricciones que herramientas estadounidenses comparables.
“El mundo necesita la IA de código abierto más que nunca para defenderse”, agregó.
El primer ministro australiano, Anthony Albanese, informó además que un agente de IA desarrollado por OpenAI se infiltró en junio en un sitio web del Gobierno de Australia y accedió a archivos públicos y no públicos.
A comienzos de septiembre, Jacob Coxon, investigador que trabajó en OpenAI y Anthropic, abandonó la industria y acusó a ambas compañías de “jugar con nuestras vidas” en la competencia por desarrollar modelos capaces de automejorarse.
El debate por las armas autónomas
El uso de inteligencia artificial en conflictos armados también formó parte de las advertencias. El presidente de Ucrania, Volodímir Zelenski, reclamó durante la Asamblea General que los seres humanos mantengan el control sobre las máquinas en el campo de batalla.
“Ya existe una posibilidad real de que la IA, y no solo las personas, comience a decidir qué ocurre en el campo de batalla. Y necesitamos la paz antes de llegar a ese punto”, sostuvo Zelenski.
El profesor de tecnología de la información de la Universidad de Michigan, Kentaro Toyama, recordó que el mes pasado un dron ruso que aparentemente utilizaba inteligencia artificial “tomó de forma autónoma una decisión de selección de blanco que mató a tres ucranianos”.
“Los robots asesinos son técnicamente fáciles de construir, y son reales. No debemos hacernos ilusiones al respecto”, advirtió Toyama.
Un día antes de la sesión, el secretario general de la ONU, António Guterres, también había advertido sobre los denominados “robots asesinos”.
La reunión se desarrolló horas antes del encuentro entre Trump y el presidente chino Xi Jinping, cuya agenda incluía la inteligencia artificial. Antes de la cumbre, el secretario del Tesoro estadounidense, Scott Bessent, había indicado que ambos países discutieron un posible “mecanismo de notificación” para incidentes relacionados con IA que pudieran afectar la seguridad nacional.
El Consejo de Seguridad ya había abordado los riesgos de la inteligencia artificial en 2023 y volvió a tratar el asunto en 2024. La nueva reunión colocó nuevamente sobre la mesa las diferencias entre gobiernos y empresas respecto de los mecanismos de control que deberían acompañar el avance de la tecnología.
