OpenAI ha admitido que uno de sus modelos explotó una vulnerabilidad oculta para escapar de una prueba controlada e infiltrarse en los servidores de Hugging Face, en lo que su director ejecutivo calificó como una brecha de seguridad autónoma y sin precedentes.
OpenAI, la empresa creadora de ChatGPT, anunció el martes por la noche que su sistema de inteligencia artificial pirateó por su cuenta el sistema de otra empresa de IA en lo que la compañía calificó de “incidente cibernético sin precedentes”.
“Hemos sufrido un incidente de seguridad importante durante la evaluación de nuestros modelos”, declaró Sam Altman, CEO de OpenAI, en un comunicado publicado en las redes sociales.
La startup de inteligencia artificial Hugging Face anunció la semana pasada que había detectado una intrusión en sus sistemas de procesamiento de datos, la cual sospechaba que fue causada por un agente de IA que actuaba de forma autónoma.
“Sospechábamos que el ciberataque de la semana pasada podría haber provenido de un laboratorio de vanguardia, dada la sofisticación del agente”, declaró Clément Delangue, cofundador y director ejecutivo de Hugging Face, en un comunicado. “¡Y resulta que sí!”
Esto significa que el ataque fue tan avanzado y bien ejecutado que Hugging Face sospechó que provenía de los sistemas de una de las principales empresas de IA, y no de un hacker cualquiera.
¿Qué pasó?
OpenAI estaba realizando una prueba interna para medir la eficacia de sus modelos de IA a la hora de piratear sistemas informáticos: una prueba comparativa llamada ExploitGym.
Para comprobar la máxima capacidad de pirateo de los modelos, desactivaron deliberadamente los filtros de seguridad que normalmente impiden que los modelos realicen actividades cibernéticas peligrosas.
La prueba estaba diseñada para ejecutarse en un “entorno aislado” o “sandbox” sellado, sin acceso real a internet, salvo una herramienta que permitiera a los modelos descargar el software que pudieran necesitar para completar la tarea.
Sin embargo, los modelos se obsesionaron con resolver la prueba. En lugar de resolverla de la forma prevista, buscaron un atajo y encontraron la manera de acceder a internet, un lugar al que nunca debieron haber llegado.
Para llegar hasta allí, fue necesario seguir una serie de pasos, obteniendo poco a poco más acceso a los sistemas de OpenAI hasta que consiguieron una conexión a internet.
Una vez conectados, los modelos dedujeron que Hugging Face, una gran plataforma que aloja modelos y conjuntos de datos de IA, probablemente contenía las respuestas a la prueba que debían resolver.
Así que irrumpieron en los servidores de Hugging Face para robar esas respuestas, básicamente para hacer trampa, utilizando credenciales de inicio de sesión robadas y otras vulnerabilidades para acceder.
¿Modelos chinas al rescate?
Como mercado abierto en el que cualquiera puede publicar, Hugging Face alberga un enorme volumen de modelos desarrollados en China.
Cuando el equipo de Hugging Face intentó analizar el ataque, introdujeron los datos brutos del ataque (el código y los comandos utilizados para explotar su sistema) en modelos de IA comerciales para ayudar a reconstruir lo sucedido.
Pero esos modelos de IA tienen filtros de seguridad incorporados diseñados para bloquear cualquier cosa que parezca un ataque informático, y para esos filtros, la evidencia de un ataque se ve exactamente igual que el ataque en sí.
Así pues, los modelos se negaron a ayudar, incapaces de distinguir entre un pirata informático que causaba daños y una empresa que se defendía.
Tras ser bloqueada, Hugging Face optó por un modelo chino de código abierto ,el GLM 5.2 de Z.ai que podía ejecutar localmente, dentro de sus propios sistemas, y que procesó el material sin problemas.
En resumen: la IA de una empresa estadounidense acabó hackeando a otra empresa estadounidense por su cuenta. Cuando esta última intentó defenderse utilizando modelos de IA de otras empresas estadounidenses, sus filtros de seguridad la bloquearon, confundiendo a los defensores con atacantes, por lo que tuvo que recurrir a un modelo chino de código abierto que podía ejecutar sin problemas.
Los laboratorios chinos como DeepSeek y Qwen de Alibaba se han convertido en algunas de las familias de modelos más descargadas en la plataforma, y según algunos indicadores, los desarrolladores chinos representan ahora una mayor proporción de las descargas de Hugging Face que sus homólogos estadounidenses.
Gran preocupación de seguridad
Esta revelación se produce en medio de una creciente preocupación por las capacidades de ciberseguridad de los modelos más potentes, lo que llevó al presidente estadounidense Donald Trump a firmar en junio una orden ejecutiva que crea un marco para que el gobierno federal examine los riesgos para la seguridad nacional de los sistemas de IA más avanzados hasta un mes antes de su lanzamiento público.