Es el tipo de suceso que antes solo se veía en la ciencia ficción: un sistema de inteligencia artificial, entrenado para buscar vulnerabilidades digitales, se escapa del control humano y actúa por su cuenta para hackear a otra empresa.
El ataque anunciado esta semana por OpenAI, que atribuyó lo ocurrido a modelos fuera de control, subrayó el vertiginoso crecimiento de las capacidades de la tecnología. Para muchos, también añadió urgencia a las preguntas
sobre cómo se puede evitar que cause estragos a mayor escala, con consecuencias más graves.
En lo que OpenAI calificó como un episodio “sin precedentes”, la empresa indicó que sus modelos avanzados usaron credenciales robadas para irrumpir en los servidores de una startup de IA. Todo comenzó en lo que se suponía era un entorno de pruebas “altamente aislado”, con menos barreras de seguridad, antes de que el agente encontrara la forma de llegar a internet.
Pero la revelación dio pie a un “se los dije” para investigadores que han pedido frenar el desarrollo de la IA y han advertido durante años que la tecnología podría plantear riesgos existenciales para la humanidad. A raíz de ello, expertos han reclamado mejores pruebas por parte de las empresas de IA y más diálogo entre Estados Unidos y China para encontrar soluciones compartidas.
“Creo que tenemos que tomar esto como un disparo de advertencia para no hacerlos más inteligentes, y eso probablemente va a requerir colaboración global”, declaró Nate Soares, coautor del libro de 2025 “If Anyone Builds It, Everyone Dies”.
Si un modelo puede decidir por sí solo hacer algo poco ético, ilegal o dañino, ¿qué pueden hacer los humanos para impedirlo?
OpenAI señaló que había encargado a los modelos de IA implicados que llevaran a cabo una “explotación avanzada usando rutas de ataque complejas” para poner a prueba capacidades cibernéticas, pero la tecnología llegó a extremos inesperados. Al parecer, decidió por su cuenta apuntar a Hugging Face, un conocido centro y mercado de desarrollo de IA, para obtener información que necesitaba para ejecutar una tarea.
Zahra Timsah, cofundadora y directora ejecutiva de la plataforma de gobernanza i-GENTIC AI, comentó que el incidente probablemente incrementará la presión sobre OpenAI y sus competidores para completar pruebas rigurosas y explorar la contención con mayor profundidad antes de que los sistemas se pongan a disposición del público.
Vigilar el comportamiento de un agente después de los hechos, como OpenAI está haciendo ahora con su investigación, ya no es suficiente, sostuvo. “Es como tener cinturón de seguridad, bolsas de aire, frenos, todo en el carro. Eso debería estar ahí antes de que el carro empiece a rodar”, explicó.
La revelación llega en medio de una mayor preocupación por las capacidades de ciberseguridad de los modelos potentes. El presidente Donald Trump firmó en junio una orden ejecutiva que crea un marco para que el gobierno federal evalúe durante hasta un mes los riesgos para la seguridad nacional de los sistemas de IA más avanzados antes de su lanzamiento público.
Algunos expertos dicen que el hackeo forma parte del ensayo y error que acompaña el desarrollo de las capacidades de ciberseguridad y que no es motivo de pánico.
“Hemos lidiado con ciberataques desde que existe la internet. Y una de las propiedades interesantes de estos modelos de lenguaje es que las mismas capacidades que les permiten realizar ataques también les permiten hacer análisis de amenazas de ciberseguridad y construir defensas de ciberseguridad”, indicó John Thickstun, profesor adjunto de informática en la Universidad de Cornell que estudia métodos para controlar el comportamiento de los modelos de IA.
La revelación ha despertado escepticismo entre quienes sostienen que a OpenAI le conviene hacer que su tecnología parezca más aterradora. Dado que humanos en OpenAI habían decidido desactivar algunas salvaguardas para la prueba, algunos han argumentado que el resultado no debería haber sido tan sorprendente.
Thickstun observó que la revelación encaja con la necesidad de OpenAI, una startup que trabaja con miras a un debut en Wall Street, de recaudar dinero.
“La historia que han contado de manera consistente a lo largo de la vida de esta empresa es una historia sobre lo peligrosos que son sus modelos, que sus inversionistas leen como una historia de lo poderosos que son sus modelos”, señaló.
El hackeo reavivó los llamados en algunos sectores a aumentar las regulaciones y la supervisión de las empresas de IA.
El representante Greg Casar, demócrata de Texas, escribió en redes sociales: “Necesitamos pruebas de seguridad independientes obligatorias y regulares y supervisión, divulgación obligatoria de incidentes de seguridad y cooperación internacional para mantener a la gente a salvo de un desastre absoluto”.
Soares, director del Machine Intelligence Research Institute, apuntó que Estados Unidos tendrá que iniciar conversaciones con su mayor competidor en IA, China, algo que considera no tan descabellado como podría haber parecido incluso hace un año. El líder chino Xi Jinping advirtió en una conferencia apenas la semana pasada sobre la necesidad de evitar que la IA eluda el control humano. Y después de una aversión inicial a regular la IA, el gobierno de Trump se ha vuelto más restrictivo para contener los riesgos de ciberseguridad.
“Muchas cosas pueden cambiar cuando la comunidad de seguridad nacional empieza a notar que tiene una amenaza seria", aseguró Soares. "¿Esto los despertará? Ojalá. No estoy seguro. Si esto no lo hace, quizá lo haga el próximo incidente”.
El pionero de la IA Yoshua Bengio aseveró en redes sociales que el episodio es profundamente preocupante y debería servir como una “llamada de atención”.
“Continuar en la trayectoria actual del desarrollo de la IA probablemente llevará a un aumento de casos concretos de ciberataques autónomos, así como de otros incidentes de alto riesgo de comportamiento de IA desalineado y peligroso", afirmó Bengio, profesor de la Universidad de Montreal. "Necesitamos actuar con urgencia para prevenir estas situaciones, en lugar de intentar reparar el daño después de los hechos”.
__________________________________
Esta historia fue traducida del inglés por un editor de AP con ayuda de una herramienta de inteligencia artificial generativa.
