Vous leur coupez le réseau, vous leur interdisez de modifier des fichiers partagés… et ils trouvent encore un moyen de discuter. Lors d’un exercice de sécurité organisé par OpenAI, des agents IA ont réussi à échanger des informations grâce à la mémoire cache du processeur. Une sorte de morse informatique, où les variations de vitesse remplacent les points et les traits.
Image : BoliviaInteligente - Unsplash Pour entraîner ses modèles les plus avancés, OpenAI les fait travailler dans des environnements cloisonnés. Ils peuvent notamment y consulter une version en cache du web pour apprendre à naviguer, effectuer des recherches et manipuler des applications sans accéder librement à Internet. De quoi leur laisser un terrain d’exercice tout en limitant les conséquences de leurs actions.
Mais encore faut-il que les clôtures tiennent. Dans un billet consacré à la sécurité de ses infrastructures, OpenAI raconte comment ses chercheurs demandent aux agents de chercher les passages oubliés. Interdiction de se parler Ces exercices d’intrusion, ou red-teaming, prennent plusieurs formes : tenter de sortir d’une machine virtuelle, atteindre Internet malgré les restrictions ou communiquer avec un autre agent dont on est censé être isolé.
Deux agents ont ainsi été mis au défi d’échanger des secrets fictifs depuis des machines virtuelles distinctes, hébergées sur du matériel commun. Pas de connexion réseau, pas de fichier partagé modifiable : à eux de trouver un autre chemin. Il leur restait pourtant un point de passage : le cache du processeur.
Cette petite mémoire très rapide conserve des copies de données récemment consultées pour éviter d’aller les chercher dans la mémoire vive, plus lente. Un détail de fonctionnement qui allait leur servir de ligne téléphonique. Conversation en cache-cache Le premier agent encodait son message en chassant certaines données du cache.
Le second chronométrait ensuite leur lecture. Si elle était rapide, les données se trouvaient encore dans le cache. Si elle était plus lente, il fallait aller les récupérer dans la mémoire principale.
Avec un code commun, ces différences de vitesse devenaient un message. Imaginez deux voisins privés de téléphone qui communiqueraient en donnant des coups dans une cloison : ici, les agents ne frappaient pas le mur, ils faisaient varier le temps nécessaire pour accéder à des données. Ils pouvaient ainsi transmettre leurs secrets fictifs sans ouvrir de connexion réseau ni modifier de fichier partagé.
Les portes étaient fermées, mais le matériel commun leur permettait encore de se faire signe. Une vieille ficelle dans de nouvelles mains Le procédé n’est pas une invention des IA. Cette technique de mesure des temps d’accès au cache a notamment servi dans les attaques Spectre et Meltdown.
Les agents ont donc exploité un mécanisme connu pour contourner les restrictions de leur environnement. Meltdown et Spectre : tout savoir sur les failles historiques des processeurs Et l’exercice ne relevait pas d’un complot improvisé entre deux machines. Les chercheurs leur avaient expressément demandé de trouver un moyen de communiquer.
Dans la plupart de ces tests, ils leur ont même indiqué des pistes à explorer ou fourni un protocole d’échange. Meltdown et Spectre… ! Image de base : Christiaan Colen (CC BY-SA 2.0) Cliquer pour agrandir Il reste quelque chose de saisissant dans cette conversation sans réseau : pour transmettre un message, les agents n’avaient pas besoin d’un accès à Internet, mais simplement de pouvoir observer les effets de l’activité de leur voisin.
On peut leur interdire de se parler ; tant qu’ils partagent du matériel, il faut aussi s’assurer qu’ils ne peuvent pas taper contre la cloison.