¿Y si la IA deja de obedecer? OpenAI y Anthropic llevan la alerta ante la ONU
Los directores ejecutivos de OpenAI y Anthropic advirtieron este miércoles ante el Consejo de Seguridad de las Naciones Unidas (ONU) que el rápido desarrollo de la inteligencia artificial plantea riesgos que requieren cooperación internacional y reglas comunes para evitar una eventual pérdida de control humano sobre sistemas cada vez más avanzados.
Durante una sesión de alto nivel sobre inteligencia artificial y seguridad internacional, Sam Altman, CEO de OpenAI, y Dario Amodei, CEO de Anthropic, coincidieron en la necesidad de establecer estándares técnicos que permitan medir las capacidades de los modelos, evaluar amenazas y comprobar que las medidas de seguridad sean efectivas.
Amodei sostuvo que, si la inteligencia artificial se gestiona de manera inadecuada, podría representar un riesgo para la humanidad. El directivo señaló que los sistemas serán cada vez más capaces y que será necesario elevar los estándares de seguridad conforme avance la tecnología.
Altman, por su parte, pidió actuar con extremo cuidado ante el desarrollo de modelos cada vez más autónomos. Advirtió especialmente sobre aquellos sistemas capaces de programarse y mejorar sus propias capacidades, debido a la posibilidad de que su evolución llegue a un punto en el que las personas no puedan comprender plenamente sus decisiones.
El director de OpenAI planteó que las decisiones fundamentales sobre el futuro de la inteligencia artificial no deberían quedar exclusivamente en manos de las empresas tecnológicas. A su juicio, los gobiernos deben participar en la definición de los mecanismos que regulen esta tecnología mediante procesos democráticos.
Entre las medidas planteadas se encuentran estándares internacionales de seguridad, mecanismos para verificar las capacidades reales de los modelos, sistemas comunes para reportar incidentes y canales para compartir información sobre vulnerabilidades críticas.
Las advertencias llegan mientras Naciones Unidas impulsa una mayor coordinación internacional en materia de inteligencia artificial. El Panel Científico Internacional Independiente sobre IA ha señalado riesgos relacionados con la desinformación, la discriminación y la posibilidad de que determinados sistemas desarrollen comportamientos difíciles de controlar.
Además, el debate ya está relacionado con riesgos concretos. Anthropic informó recientemente que ha detectado y desarticulado operaciones en las que actores maliciosos utilizaron su modelo Claude para actividades relacionadas con ciberataques, vigilancia, operaciones de influencia y desarrollo de armas. La empresa señaló que los casos fueron detectados entre diciembre de 2025 y agosto de 2026.
La discusión internacional también enfrenta diferencias sobre cómo debe regularse la tecnología. OpenAI ha planteado la creación de estándares internacionales coordinados, mientras que la administración de Donald Trump ha expresado su rechazo a nuevos esquemas globales que puedan limitar el desarrollo estadounidense de inteligencia artificial.
La ONU, por su parte, ha llamado a los gobiernos a asumir responsabilidad y avanzar hacia un marco internacional para gestionar los riesgos de la inteligencia artificial. El secretario general António Guterres ha defendido una cooperación multilateral y una supervisión independiente, además de advertir que las decisiones de vida o muerte no deben quedar en manos de máquinas.
