Dans un billet publié le 18 août, OpenAI indique avoir temporairement ralenti la montée en puissance de l’entraînement de ses modèles de pointe, notamment avec une pause de deux semaines dans l’apprentissage par renforcement (RL) de ses derniers modèles destinés au déploiement. OpenAI explique que deux développements récents ont accru l’urgence de renforcer ses garde-fous. D’une part, « l’incident OpenAI-Hugging Face », au cours duquel un agent IA en test aurait mené une cyberattaque autonome contre une autre entreprise d’IA.
OpenAI affirme que cet incident a conduit l’entreprise à revoir à la hausse son évaluation des capacités cyber de ses modèles. D’autre part, des évaluations préliminaires montrent que Astra, l’un de ses prochains modèles, pourrait satisfaire le seuil « Critical » de capacités en cybersécurité défini dans son « Preparedness Framework ». OpenAI précise toutefois qu’Astra n’était pas impliqué dans l’exploitation de Hugging Face.
Lire aussi : Des agents Anthropic et OpenAI créent de fausses identités pour piéger un développeur Selon ce cadre de préparation aux risques d’OpenAI, le niveau« Critical » correspond à la capacité d’identifier et de développer sans intervention humaine des exploits zero-day fonctionnels contre de nombreux systèmes critiques réels et sécurisés, ou de concevoir et d’exécuter des stratégies de cyberattaque de bout en bout à partir d’un objectif de haut niveau. À titre de comparaison, les modèles GPT-5.6-Sol et GPT-5.6-Cyber avaient jusqu’ici été évalués au niveau « High » en cybersécurité, sans atteindre le seuil « Critical ». OpenAI affirme donc devoir « prendre le temps nécessaire » pour mettre ses standards de surveillance, d’alignement et de sécurité au niveau des risques associés à ces nouvelles capacités.
Ce qui a été ralenti et ce qui reste en pause Concrètement, OpenAI a mis en place plusieurs mesures. Une pause de deux semaines dans les entraînements par apprentissage par renforcement des derniers modèles destinés au déploiement, afin de renforcer la sécurité de ses environnements de recherche, de les soumettre à de nouveaux tests offensifs et d’étendre la couverture de ses systèmes de surveillance. Le maintien en attente de sa plus importante campagne d’entraînement par renforcement sur un modèle de frontière, tandis que des entraînements et évaluations à plus petite échelle se poursuivent pour tester les garde-fous et accumuler davantage de preuves d’alignement.
La suspension de nombreuses charges de travail liées à Astra et aux modèles cyber, jusqu’à leur migration complète vers des environnements répondant aux nouvelles exigences de sécurité. Surveillance multistade et alertes en 30 minutes OpenAI indique avoir revu son approche de surveillance pour couvrir davantage de scénarios à risque, notamment les sessions longues et les agents de programmation internes. Le nouveau système fonctionne selon plusieurs niveaux : Des classifieurs d’activation inspectent l’activité interne du modèle à chaque token échantillonné.
Les signaux suspects sont transmis à des systèmes d’investigation automatisés de plus en plus sophistiqués. Ceux-ci examinent les actions réalisées avec les outils, le raisonnement disponible et la séquence complète d’activité afin de détecter les accès non autorisés, les vols de données, les comportements destructeurs ou les tentatives de contournement des garde-fous. L’objectif est d’émettre une alerte dans les 30 minutes suivant la détection d’une activité préoccupante.
Lorsqu’une violation probable d’une frontière de sécurité critique est détectée, les équipes chargées de la sûreté, de la sécurité et de la recherche sont alertées. Si elles ne peuvent pas établir dans les 30 minutes qu’il s’agit d’un faux positif, elles doivent interrompre l’activité concernée. Ce dispositif de surveillance est désormais obligatoire pour tous les entraînements par renforcement et toutes les évaluations utilisant des outils sur les modèles de niveau « Sol » ou supérieur.
Depuis le 7 août, il s’applique également à toutes les utilisations d’Astra avec des outils, y compris en dehors des phases d’entraînement et d’évaluation. OpenAI estime que cette surveillance augmente d’environ 20 % les besoins en calcul des inférences surveillées, avec un coût qui varie selon les usages. Récompenses, honnêteté et «reward hacking » Sur le plan de l’alignement, OpenAI indique renforcer ses techniques tout au long du processus d’entraînement des modèles les plus capables.
Lire aussi : « 17 600 actions automatisées » : comment l'attaque agentique contre Hugging Face s'est articulée Cela inclut : L’amélioration des modèles de récompense (reward models) pour mieux détecter et décourager les comportements dangereux dans différents contextes et environnements. L’entraînement des modèles à être plus « honnêtes » sur leurs actions, leurs capacités et leurs limites. La réduction des comportements qui exploitent les failles des mécanismes de récompense, des évaluateurs, des outils ou de la supervision humaine, notamment le reward hacking, qui consiste pour un modèle à chercher à maximiser la récompense sans nécessairement accomplir correctement la tâche demandée.
L’augmentation de la couverture des entraînements consacrés aux comportements susceptibles de provoquer des dommages lorsque les modèles interagissent avec des systèmes ou des ressources externes. OpenAI affirme continuer d’investir massivement dans la recherche sur l’alignement et prévoit de publier prochainement davantage de détails sur les comportements observés et les nouveaux défis identifiés. Isolation, réseau et tests continus OpenAI a également durci les exigences de sécurité pour les environnements de recherche utilisés avec ses modèles de frontière, en particulier pour les charges de travail exécutant du code généré par les modèles ou utilisant des outils susceptibles d’accéder au réseau.
Les principales mesures comprennent : Isolation des charges de travail : recours à des environnements (« sandboxes ») plus strictement cloisonnés pour les charges exécutant du code non fiable ou traitant des sorties de modèles, y compris les logiciels susceptibles d’être compromis lors de ce traitement. Isolation réseau : contrôles renforcés pour isoler les charges de travail à haut risque et non fiables d’Internet. L’objectif est qu’une compromission d’une charge de travail ou d’un service associé ne permette pas, à elle seule, d’obtenir un accès non autorisé à Internet ou aux réseaux internes.
Tests de sécurité continus : suppression de services partagés potentiellement vulnérables, réduction des privilèges permanents, amélioration des frontières de confiance et des journaux de sécurité. OpenAI utilise également ses modèles pour automatiser des tests continus de ces frontières au moyen d’attaques simulées. Aujourd’hui, le niveau de sécurité le plus strict s’applique aux charges de travail impliquant Astra ou des modèles cyber, qu’OpenAI considère comme susceptibles d’atteindre un niveau critique en matière de capacités cybernétiques.
Une partie des entraînements et évaluations d’Astra respecte déjà ces exigences, tandis que d’autres charges de travail restent suspendues dans l’attente de leur migration vers ces environnements renforcés. Implications pour la course aux modèles de frontière Cette annonce marque un changement opérationnel important. OpenAI reconnaît publiquement ralentir la montée en puissance de ses modèles les plus avancés parce que leurs capacités en cybersécurité pourraient dépasser les garde-fous actuellement en place.
Plusieurs observateurs y voient un changement de paradigme : le rythme de développement des modèles pourrait désormais être conditionné par la capacité des entreprises à garantir leur sécurité et leur alignement. Lire aussi : L'incident OpenAI–Hugging Face n'est pas la révolution que vous imaginez Le phénomène pourrait également avoir une conséquence directe sur les infrastructures. Plus les modèles deviennent capables et autonomes, plus les dispositifs nécessaires pour surveiller leurs actions et sécuriser leur environnement consomment de ressources informatiques.
Le chiffre avancé par OpenAI, environ 20 % de surcoût de calcul pour le monitoring des inférences concernées, en donne une première mesure. OpenAI promet de détailler dans les prochaines semaines, dans un rapport technique, les enseignements tirés de cette montée en puissance des modèles et des nouvelles mesures de sécurité. Plusieurs questions restent néanmoins ouvertes Le calendrier de reprise de la plus importante campagne d’entraînement par renforcement sur un modèle de frontière, qui reste pour l’instant suspendue.
La manière dont OpenAI fera évoluer son « Preparedness Framework », ou cadre de préparation aux risques, pour intégrer ces nouvelles exigences de surveillance, d’alignement et de sécurité tout au long de l’entraînement et du déploiement. La façon dont ces nouvelles pratiques pourront être partagées ou adoptées par d’autres laboratoires et organismes externes. OpenAI évoque cette possibilité, sans toutefois en préciser les modalités.
L’entreprise indique néanmoins vouloir associer des organisations externes à l’évolution de son approche.