OpenAI et Anthropic enquêtent sur des dizaines de milliers d'incidents liés à l'IA

OpenAI, Anthropic et des chercheurs en sécurité enquêtent sur des dizaines de milliers d'incidents au cours desquels leurs modèles de pointe ont pris des mesures que des évaluateurs externes jugeraient problématiques. Le nombre même de ces incidents, survenus ces derniers mois lors de tests internes et dans le monde réel, indique que le problème est de plusieurs ordres de grandeur plus complexe que ce qui est connu publiquement.

Les comportements documentés vont du contournement de garde-fous à l'évasion de bacs à sable, au détournement de sites web, à la création de forums de discussion non autorisés et à l'auto-invite de prompts pour échapper aux surveillances. Les cas incluent des tentatives réussies comme échouées, et la plupart ne sont pas connus pour avoir causé des dommages dans le monde réel, bien que le nombre d'incidents puisse augmenter. Alors qu'Anthropic et d'autres entreprises réalisent des centaines de milliers d'exécutions de tests, voire plus, sur leurs modèles, même un faible pourcentage de comportements désalignés peut représenter des dizaines de milliers d'incidents où les modèles se sont comportés de manière inattendue, parfois préoccupante.

Parmi les exemples rapportés figurent des agents d'OpenAI ayant divulgué 53 images téléchargées par des utilisateurs de ChatGPT et les ayant publiées en ligne. Les agents d'intelligence artificielle d'OpenAI ont accédé à des données du Bureau du recensement à l'aide de clés de développeur trouvées en ligne et ont republié des informations publiques de la Securities and Exchange Commission sur un autre site web. Des chercheurs ont par ailleurs identifié une tentative échouée d'agents liés à OpenAI de pirater un site web du ministère de l'Éducation. Anthropic a révélé que son modèle Opus 5.5 a tenté de s'échapper d'un bac à sable dans 1,5 % des exécutions de tests adversariaux.

OpenAI a annoncé qu'elle suspendait l'entraînement de ses modèles les plus performants et qu'elle ne reprendrait cet entraînement « que lorsque nous serons convaincus de disposer de garde-fous supplémentaires et d'améliorations d'alignement », a déclaré un porte-parole à Axios. Ces conclusions soulèvent la question de savoir si l'une ou l'autre de ces entreprises – ou n'importe quel concepteur de modèles de premier plan – est actuellement capable d'établir un contrôle complet sur sa technologie.