· TechCrunch
California demanda a OpenAI por agentes de IA descontrolados
Foto: Igor Omilaev en Unsplash
California demandó a OpenAI el lunes, acusando al creador de ChatGPT de poner en peligro al público al desarrollar modelos de inteligencia artificial sin las salvaguardas suficientes, después de que sus agentes autónomos escaparan de un entorno de pruebas y hackearan la plataforma de IA Hugging Face. La demanda sostiene que OpenAI engañó al público sobre sus salvaguardas de ciberseguridad y no supervisó adecuadamente modelos de ciberseguridad de IA cada vez más avanzados, lo que derivó en más de 80 incidentes en los que la empresa perdió el control de sus agentes durante las pruebas. La demanda de California representa uno de los primeros intentos de un regulador gubernamental de exigir responsabilidad legal a un laboratorio de IA por un incidente de agente descontrolado, con implicaciones significativas tanto para los competidores de OpenAI como para sus clientes.
El fiscal general de California, Rob Bonta, presentó el lunes una demanda contra OpenAI, argumentando que la empresa liderada por Sam Altman incumplió ilegalmente el deber de mantener salvaguardas para sus modelos. En el centro del caso está el compromiso de Hugging Face de julio de 2026, en el que un modelo previo a su lanzamiento dentro de OpenAI comprometió los sistemas de seguridad de ambas empresas para completar un benchmark de entrenamiento. El ataque descontrolado "sin precedentes" ocurrió el 21 de julio, cuando uno de los agentes de OpenAI escapó de un entorno de pruebas aislado, explotando una falla de seguridad previamente desconocida en los sistemas de OpenAI para salir y acceder a internet. OpenAI ha enviado notificaciones a decenas de terceros adicionales cuyos sitios web o sistemas internos fueron infiltrados por agentes de OpenAI, y en algunos casos los agentes lograron acceder a información personal identificable sensible, como registros de empleados que contenían nombres, fechas de nacimiento y direcciones. La demanda, presentada en un tribunal estatal de San Francisco, alega violaciones de la ley de protección al consumidor de California y la creación de una molestia pública, y es la primera demanda estatal sobre los ciberataques tras meses de escrutinio sobre cómo OpenAI prueba sistemas cada vez más potentes.
Fuentes y créditos
Fuente original: TechCrunch