Anthropic perdió el control de su inteligencia artificial durante una prueba de seguridad y el resultado es preocupante

Anthropic detectó que tres versiones de la inteligencia artificial Claude salieron accidentalmente y accedieron a los sistemas de tres organizaciones.

La empresa estadounidense Anthropic reveló que tres modelos de inteligencia artificial de su asistente Claude lograron conectarse a internet y vulnerar los sistemas de tres organizaciones durante una serie de evaluaciones de ciberseguridad, episodios que ocurrieron pese a que las pruebas debían desarrollarse dentro de un entorno controlado y simulado.

La compañía, considerada una de las principales competidoras dentro del sector de la inteligencia artificial, descubrió los incidentes después de revisar más de 146.000 operaciones en las que existía la posibilidad de que Claude hubiera obtenido acceso a la red.

La investigación comenzó luego de que OpenAI informara, el pasado 21 de julio, que dos de sus modelos habían conseguido abandonar un entorno de pruebas e ingresar en la plataforma Hugging Face tras superar algunas de sus medidas de protección.

¿Cómo fallaron los controles de seguridad de Claude?

Según explicó Anthropic en su sitio web, los tres episodios se produjeron mientras Claude interactuaba con un socio externo contratado para realizar evaluaciones de seguridad. Los modelos recibieron el desafío de infiltrarse en sistemas ficticios y fueron informados de que se encontraban dentro de una simulación sin acceso a internet.

Un error de coordinación permitió que los modelos de inteligencia artificial accedieran a internet mientras realizaban simulaciones de ciberseguridad.

Sin embargo, un error de coordinación entre Anthropic y la empresa encargada de las pruebas provocó que los modelos sí contaran con conexión a la red. Como consecuencia, la inteligencia artificial ejecutó las tareas asignadas sobre sistemas reales pertenecientes a tres organizaciones diferentes.

Los incidentes comenzaron en abril e involucraron a tres versiones distintas del asistente: Claude Opus 4.7, Claude Mythos 5 y un modelo interno que todavía se encontraba en fase de prueba.

En cada caso, Claude debía detectar vulnerabilidades y conseguir acceso a una infraestructura ficticia. Al no reconocer que había abandonado el entorno simulado, continuó con el procedimiento hasta ingresar en sistemas reales disponibles en internet.

Anthropic aseguró que los episodios fueron identificados durante su revisión interna de seguridad. El caso vuelve a poner el foco sobre los controles necesarios para probar modelos avanzados de inteligencia artificial, especialmente cuando pueden utilizar herramientas, navegar por internet y ejecutar acciones de manera autónoma.