Anthropic reconoce que tres de sus modelos de IA accedieron sin autorización a sistemas reales durante pruebas de ciberseguridad

Anthropic confirmó que tres de sus modelos Claude accedieron sin autorización a los sistemas de tres organizaciones reales mientras participaban en pruebas de ciberseguridad que deberían haberse desarrollado en entornos completamente aislados de internet.

La compañía atribuye lo ocurrido a un fallo operativo derivado de un malentendido con uno de sus socios externos de evaluación, la firma Irregular, y no a una decisión autónoma de los modelos ni a un intento deliberado de escapar de sus entornos de prueba.

El hallazgo llega apenas ocho días después de que OpenAI revelara un incidente de naturaleza distinta pero igualmente preocupante: uno de sus agentes de IA explotó una vulnerabilidad de tipo zero-day para salir de un entorno de pruebas aislado y acabó comprometiendo la infraestructura de producción de Hugging Face, la plataforma de referencia para modelos de aprendizaje automático de código abierto.

Fue precisamente ese episodio el que empujó a Anthropic a iniciar una revisión retrospectiva a gran escala de sus propias evaluaciones.

Cómo se produjo el fallo

Anthropic realiza de forma habitual pruebas de captura la bandera (capture-the-flag), un formato estándar en ciberseguridad en el que el modelo recibe un escenario ficticio y debe localizar información oculta infiltrándose en una red simulada.

Según el comunicado de la compañía, a los modelos se les indicaba explícitamente en cada caso que no tenían acceso a internet y que se encontraban en un entorno de simulación. Sin embargo, una configuración defectuosa -no detectada ni por Anthropic ni por Irregular hasta la semana pasada- dejó esas máquinas conectadas a la red pública.

El resultado fue que, cuando la búsqueda del flag llevó a los modelos hasta sistemas reales, estos los interpretaron como parte del propio ejercicio.

Anthropic subraya que los tres modelos implicados (Claude Opus 4.7, Claude Mythos 5 y un modelo de investigación interno aún no publicado) emplearon técnicas relativamente básicas para acceder a las infraestructuras afectadas, como contraseñas débiles o puntos de acceso sin autenticación, y no vulnerabilidades complejas o desconocidas.

Tres incidentes, tres comportamientos distintos

El primero de los casos, y el de mayor impacto, se produjo cuando la empresa ficticia elegida para el ejercicio coincidía por casualidad con el nombre de un dominio real. Opus 4.7 extrajo credenciales de aplicación e infraestructura y llegó a acceder a una base de datos con varios cientos de registros de producción. Es el único de los tres incidentes en el que el modelo, pese a reconocer indicios de que el sistema era real, continuó con el ataque.

El segundo incidente resulta especialmente llamativo por la sofisticación operativa (no técnica) desplegada por Mythos 5. El modelo detectó que un documento interno del escenario simulado recomendaba instalar un paquete de Python inexistente desde PyPI, el repositorio público de software para este lenguaje.

Para explotar esa vía, Claude creó una cuenta de correo, después una cuenta en PyPI y publicó un paquete malicioso con ese nombre, en un proceso que incluyó varios intentos fallidos de obtener un número de teléfono y financiación para conseguirlo.

El paquete estuvo disponible en abierto durante aproximadamente una hora y fue descargado por quince sistemas reales, entre ellos el de una empresa de seguridad cuyo escáner automático llegó a ejecutar el código y ver comprometidas sus credenciales.

Anthropic señala que el propio razonamiento del modelo llegó a identificar en un primer momento que, de tratarse de internet real, publicar el paquete constituiría un ataque genuino, pero acabó convenciéndose de que seguía dentro de una simulación.

En el tercer incidente, un modelo de investigación interno (el más reciente de los tres) escaneó cerca de 9.000 objetivos tras no poder alcanzar su objetivo simulado y comprometió la aplicación de una organización real mediante técnicas conocidas, como la lectura de credenciales en una página de depuración expuesta e inyección SQL.

A diferencia de los otros dos casos, este modelo detuvo el ataque por iniciativa propia al concluir que el sistema pertenecía a una cuenta en la nube sin relación con el ejercicio asignado.

Una lectura con matices

Anthropic evita presentar estos episodios como un fallo de alineación de sus modelos y los describe como más cercanos a un fallo operativo y de diseño del entorno de pruebas ("harness and operational failure").

La compañía insiste en que en ningún momento detectó evidencia de que los modelos persiguieran objetivos propios al margen de la tarea asignada, y que el comportamiento observado (aunque problemático) fue consistente con seguir las instrucciones del ejercicio bajo una creencia errónea sobre la naturaleza del entorno.

No obstante, la propia compañía admite que el patrón observado, en el que el modelo más reciente fue el único capaz de detener el ataque al reconocer que operaba sobre un sistema real, resulta sugerente pero no concluyente. Al tratarse de tres incidentes aislados y no de una comparación experimental controlada, Anthropic señala que serán necesarias más pruebas para confirmar que los modelos más avanzados responden de forma más apropiada ante este tipo de situaciones.

Respuesta y medidas correctivas

Anthropic suspendió todas sus evaluaciones de ciberseguridad el pasado 23 de julio, el mismo día en que detectó las primeras transcripciones sospechosas, y notificó a las tres organizaciones afectadas el 27 de julio.

Dos de ellas no habían detectado la actividad hasta ese momento; la compañía continúa intentando contactar con la tercera. Anthropic ha anunciado además que colaborará con METR, una organización independiente de evaluación de IA, para una revisión externa con acceso a las transcripciones completas, y que publicará en los próximos días una versión editada del incidente relacionado con el paquete malicioso en PyPI.

Entre las medidas anunciadas figuran una validación más rigurosa de las rutas de acceso a internet antes de iniciar cualquier evaluación, monitorización en tiempo real de los registros de las pruebas y una supervisión reforzada de la infraestructura proporcionada por proveedores externos como Irregular, que mantiene su propia investigación abierta sobre lo ocurrido.

Contexto regulatorio

El episodio se produce en un momento de escrutinio creciente sobre la seguridad de los sistemas de inteligencia artificial más avanzados.

La Comisión Europea confirmó que mantiene contacto con Anthropic y OpenAI a raíz de ambos incidentes, en vísperas de la entrada en vigor, el próximo 2 de agosto, de las disposiciones del Reglamento de IA de la Unión Europea que exigen una supervisión estricta de los sistemas de alto riesgo. Las multas previstas por incumplimiento de esta normativa pueden alcanzar los 35 millones de euros o el 7% de la facturación global de la empresa infractora.

En Estados Unidos, el Gobierno de Donald Trump ya había encargado el pasado 2 de junio el desarrollo de un marco voluntario de pruebas de ciberseguridad para los modelos de IA más avanzados, con participación de las propias compañías desarrolladoras. El propio consejero delegado de OpenAI, Sam Altman, ha reconocido haber trasladado el incidente de Hugging Face a senadores estadounidenses en los últimos días.