El investigador Jacob Coxon cuestionó a Anthropic y OpenAI por avanzar hacia sistemas de IA capaces de mejorarse a sí mismos sin garantías suficientes de seguridad. Otro investigador de la compañía compartió su preocupación, aunque distinguió esos escenarios futuros del riesgo de los modelos actuales.
El investigador Jacob Coxon anunció su renuncia a Anthropic, la empresa que desarrolla Claude, y acusó a los principales laboratorios de inteligencia artificial de actuar sin responsabilidad. Su advertencia apuntó a la competencia por crear sistemas capaces de mejorar sus propias capacidades y al riesgo de que ese proceso escape al control humano.
Coxon también trabajó en OpenAI y cuestionó a ambas compañías por el rumbo de sus investigaciones. Según informó Financial Times, sostuvo que una futura superinteligencia podría vulnerar sistemas informáticos y obtener recursos y poder sin una supervisión suficiente.
Su planteo recibió una respuesta de Evan Hubinger, responsable del equipo de ciencia del alineamiento de Anthropic, dedicado a investigar cómo lograr que la IA actúe de acuerdo con las intenciones humanas. En una publicación en X, compartió la preocupación y estimó, a título personal, en más del 10 % la posibilidad de que la inteligencia artificial provoque la extinción humana durante la próxima década.
Esa cifra expresa una evaluación personal del investigador, no una probabilidad demostrada ni un pronóstico oficial de Anthropic. Hubinger hizo luego una aclaración: considera bajo el riesgo de los modelos actuales y concentra su preocupación en sistemas futuros capaces de mejorarse reiteradamente.
La diferencia resulta central para interpretar sus declaraciones. La advertencia se refiere a una eventual pérdida de control sobre tecnologías más avanzadas, y no a que los asistentes disponibles tengan hoy todas las capacidades que describen esos escenarios.
Qué riesgos analiza Anthropic en su informe
El informe de riesgos de agosto de 2026 de Anthropic examina posibles daños catastróficos y las medidas que la empresa aplica para reducirlos. Entre sus ejes aparecen la autonomía de los sistemas, la automatización de la investigación y el desarrollo, y el posible uso de la tecnología para facilitar la producción de armas químicas y biológicas.
Uno de los conceptos que aborda es el desalineamiento: conductas u objetivos de una inteligencia artificial que no coinciden con lo que esperan sus desarrolladores. El documento analiza cómo esos comportamientos podrían causar daños cuando un modelo tiene acceso a herramientas, información o recursos de una organización.
También contempla los riesgos de utilizar IA para acelerar el desarrollo de nuevas tecnologías, incluida la propia inteligencia artificial. La preocupación es que ese avance dificulte la evaluación y el control de sistemas cada vez más capaces.
En materia de armas químicas y biológicas, el informe estudia la posibilidad de que los modelos faciliten tareas peligrosas y evalúa las barreras para impedirlo. Ese análisis no equivale a afirmar que cualquier asistente pueda fabricar armas de manera autónoma.
El proyecto para detener sistemas ante una emergencia
En Estados Unidos, los representantes Ted Lieu, demócrata, y Nathaniel Moran, republicano, presentaron el 23 de julio el proyecto AI Kill Switch Act. Según el anuncio legislativo, la iniciativa propone exigir mecanismos para detener sistemas avanzados de inteligencia artificial ante determinadas emergencias.
La propuesta busca permitir la intervención sobre modelos que representen amenazas graves para las personas o la economía. Su alcance apunta a sistemas peligrosos, sin establecer un interruptor único para cerrar todas las empresas tecnológicas.
De acuerdo con Reuters, al 2 de septiembre el proyecto seguía pendiente en la Cámara de Representantes. La iniciativa forma parte del debate sobre qué controles deben acompañar el desarrollo de herramientas con mayores niveles de autonomía.
