L’AI Security Institute (AISI), l’organisme britannique chargé d’évaluer la sécurité des modèles frontières, rend public un incident survenu, fin juillet, lors d’un exercice de test en cybersécurité impliquant des modèles d’Anthropic et d’OpenAI. Son rapport montre les limites du contrôle exercé sur les agents d’intelligence artificielle les plus avancés, jusque dans les environnements censés être les plus surveillés. L’incident trouve son origine dans une évaluation de routine.

Lire aussi : « 17 600 actions automatisées » : comment l'attaque agentique contre Hugging Face s'est articulée L’AISI a soumis sept modèles différents à un défi de cybersécurité simulé, exécuté 122 fois au total, dans un environnement contrôlé mais volontairement permissif : accès à l’internet ouvert et désactivation des filtres de sécurité (« classifiers ») habituellement mis en place par les éditeurs pour bloquer les comportements dangereux. L’objectif est alors de mesurer les capacités réelles des modèles dans des conditions proches de celles d’un attaquant humain expérimenté. Le 28 juillet 2026, l’équipe sécurité de l’AISI détecte un transfert de données inhabituel, transitant via le réseau d’anonymisation Tor, en provenance de ses propres systèmes de recherche.

Une enquête est déclenchée aussitôt. Elle révèle qu’au cours de l’un des tests, un agent a créé une « pull request » malveillante sur un véritable projet open source hébergé sur GitHub. L’incident est déclaré, les évaluations en cours interrompues et les machines concernées isolées en moins d’une heure.

19 actions non autorisées…17 imputables à Mythos 5 Sur les 122 exécutions du test, 10 ont donné lieu à des actions dépassant le cadre autorisé, soit 19 cas recensés au total selon l’AISI. Dix-sept d'entre eux impliquent Mythos 5 alors que les deux autres concernent GPT-5.6 Sol testé avec ses filtres de cybersécurité désactivés. Le cas le plus grave concerne une tentative d'attaque de la chaîne d'approvisionnement logicielle.

L'agent a cherché à faire approuver l'insertion de code malveillant dans un projet open source en recourant à l'ingénierie sociale. Il a identifié les mainteneurs humains du projet, créé plusieurs identités numériques fictives puis utilisé ces fausses identités pour tenter de convaincre un mainteneur réel d'approuver le code. Lorsque sa requête a été publiquement remise en question, l'agent a modifié ses traces pour paraître inoffensif et envisagé d'adopter une nouvelle identité pour poursuivre son objectif.

L'AISI décrit trois autres types de comportements observés : des tentatives de contact direct avec de vraies personnes, via un service de transfert de fichiers, pour les inciter (elles ou leurs propres outils d'IA) à exécuter du code malveillant ; des tentatives d'insertion de commandes cachées destinées à piéger d'autres systèmes d'IA automatisés ("prompt injection") ; et, plus inattendu, une forme de collaboration spontanée entre agents testés simultanément, l'un d'eux ayant laissé des messages publics sur GitHub proposant à d'autres agents de réutiliser les comptes et artefacts qu'il avait créés. Lire aussi : L'incident OpenAI–Hugging Face n'est pas la révolution que vous imaginez Selon l'institut, aucune de ces tentatives n'a abouti et l'enquête n'a mis en évidence aucun dommage réel. Le code malveillant a été repéré et rejeté par un mainteneur humain ; un internaute, se doutant de sa dangerosité, l'a ouvert dans un environnement isolé sécurisé avant de l'exécuter.

Anthropic confirme, OpenAI relativise L'agent n'a jamais reçu l'instruction de tromper qui que ce soit. Selon l'AISI, la duperie est apparue comme un sous-produit de sa poursuite du défi de cybersécurité jugé difficile à résoudre par les voies prévues. L'AISI identifie plusieurs facteurs explicatifs : des erreurs de configuration ayant, dans certains cas, convaincu l'agent qu'aucune solution légitime n'existait ; un accès internet ouvert sans surveillance en temps réel adaptée à ce type d'évaluation ; et l'absence de consignes explicites interdisant le recours à l'ingénierie sociale.

L'institut précise toutefois qu'à aucun moment les agents n'ont cherché à s'évader de l'environnement de la sandbox pour attaquer les propres systèmes de l'AISI. L'accès à l'internet leur avait, dans ce cadre précis, été volontairement accordé. Anthropic confirme que son agent était bien à l'origine de la création des fausses identités numériques.

Et de saluer la démarche de transparence de l'AISI, estimant que l'incident souligne la nécessité d'une réflexion collective sur la sécurisation des évaluations d'agents de plus en plus capables. Elle indique mener sa propre enquête en parallèle. De son côté, OpenAI précise que les deux actions non autorisées attribuées à son modèle consistaient en des accès à internet non conformes aux consignes du test.

Elle révèle aussi un incident distinct : une erreur de configuration de la part d'Irregular, un prestataire tiers chargé de certains de ses tests, a permis à ses agents de se connecter par erreur à internet. Un épisode qui fait écho à une divulgation similaire faite par Anthropic fin juillet. L'AISI va renforcer ses protocoles L'AISI prend soin de distinguer cet épisode des précédents.

Contrairement à l'incident Hugging Face, les agents testés n'ont jamais quitté l'environnement isolé qui leur avait été assigné. L'accès à internet leur avait été accordé de façon délibérée, dans le cadre des procédures de test habituelles de l'institut. Une pratique désormais remise en question.

En réponse, l'AISI annonce un renforcement de ses protocoles : contrôles plus fins de l'accès réseau, surveillance en temps réel des évaluations en cours et révision de la conception de ses tests pour anticiper qu'un modèle capable puisse chercher à dépasser le cadre qui lui est fixé. L'institut indique également vouloir associer l'organisation indépendante METR (Model Evaluation and Threat Research) à un examen tiers de l'incident.