Selon l'indice pondéré publié par Anthropic, Claude effectuerait l'essentiel du travail de bout en bout, sous supervision humaine, sur 26 % de la R&D en IA mesurée dans l'entreprise. Ce résultat pour août 2026 figure dans les indicateurs publiés par l'entreprise le 17 septembre. Il décrit un degré de délégation dans un panier de tâches pondérées, sans mesurer directement la productivité ni la part de l'effectif devenue remplaçable.
L'annonce prolonge l'appel de Dario Amodei du 12 septembre à encadrer le rythme de développement des modèles les plus avancés. Le dirigeant propose notamment d'installer des évaluateurs externes dans les laboratoires, avec un accès proche de celui des équipes internes chargées des risques. Les trois indicateurs rendus publics par Anthropic portent sur l'automatisation de la R&D, la supervision des agents et la répartition des ressources de calcul.
Ils esquissent les éléments que de tels évaluateurs pourraient vérifier. Un indice de délégation, sans autonomie complète L'indice reprend une échelle de six niveaux proposée par Epoch AI. Elle va de l'absence d'utilisation de l'IA, AL0, au travail entièrement autonome, AL5.
Au niveau AL3, le modèle réalise des blocs importants de travail sous une direction humaine rapprochée. Au niveau AL4, il peut prendre en charge l'essentiel d'une tâche à partir d'une instruction générale, avec une supervision humaine plus distante. C'est ce quatrième niveau qu'Anthropic chiffre à 26 % en août, contre moins de 1 % en février.
Plus de 90 % du travail mesuré atteindrait au moins AL3. Aucun sous-ensemble évalué ne relève d'AL5. Dans l'exemple donné par l'entreprise, un agent classé AL4 peut rechercher la cause d'une panne, écrire un correctif et le tester, puis soumettre son compte rendu à un ingénieur.
La décision de déployer reste humaine. La construction de l'indice compte autant que son résultat. Chaque semaine de juillet 2026, Anthropic a sélectionné aléatoirement 20 % des salariés de chaque département participant au cycle de R&D.
Un agent Claude a reconstitué leurs tâches à partir de Slack et de la documentation interne. Quelque 15 000 tâches ont ensuite été regroupées dans un arbre de 542 catégories de différents niveaux, dont 378 catégories terminales. Un agent rassemble des éléments sur chaque catégorie, puis un autre modèle Claude lui attribue un niveau d'automatisation.
L'agrégation utilise une approximation du temps humain : chaque salarié représente une unité par semaine, répartie à parts égales entre les tâches sur lesquelles il a travaillé. Une personne ayant quatre tâches leur apporte ainsi un quart d'unité chacune, même si leurs durées réelles diffèrent. Le poids des catégories ne provient donc pas d'un relevé précis des heures travaillées.
Des limites de mesure reconnues par l'entreprise Les tâches et leurs poids sont fixés sur la base de juillet afin de suivre un panier stable. Cette méthode permet la comparaison dans le temps, mais ne mesure pas à elle seule le déplacement éventuel des salariés vers des activités nouvelles. Anthropic prévoit de reconstruire périodiquement ce panier.
L'entreprise indique aussi qu'une comparaison avec une base de janvier n'a pas mis en évidence de hausse du nombre de tâches nouvelles à son niveau d'analyse. Le classement demeure discutable. Lors d'une comparaison avec les évaluations de salariés sur leur propre domaine, le modèle obtient la même note dans 59 % des cas.
Deux évaluateurs humains ne s'accordent exactement que dans 35 % des cas. L'écart entre le modèle et les humains ne dépasse pas un niveau dans 97 % des cas. Ces résultats montrent surtout la difficulté de tracer la frontière entre une IA qui collabore et une IA qui conduit le travail.
Anthropic reconnaît par ailleurs que ses modèles peuvent partager les mêmes erreurs : utiliser Claude pour évaluer Claude ne constitue pas une vérification indépendante. Les chiffres restent propres à son organisation et à sa méthode. Sans grille commune, comparer ce taux à celui d'un autre laboratoire risquerait de rapprocher des tâches, des pondérations et des seuils différents.
Trente mille agents sur la plateforme mesurée Le deuxième ensemble d'indicateurs concerne les agents internes. Anthropic estime qu'environ 30 000 agents de recherche et d'ingénierie travaillaient simultanément sur sa plateforme la plus utilisée en août. Ce périmètre ne couvre pas tous ses outils internes.
L'entreprise affirme que chaque action y passe par un contrôle automatisé avant exécution et est aussi enregistrée pour une analyse ultérieure. Sur plus d'un milliard de décisions analysées en août, le contrôle en ligne aurait bloqué environ 0,002 % des actions, soit, selon l'arrondi du fournisseur, une sur 47 000. Le dispositif différé signale environ 100 000 transcriptions par semaine.
Plusieurs classificateurs en filtrent les faux positifs et les alertes prioritaires ; environ cinquante dossiers remontent chaque semaine à une revue humaine. Un faible taux de blocage ne suffit pas à établir que les autres actions sont sûres. Il peut refléter la rareté des comportements problématiques, mais son interprétation dépend aussi de ce que le dispositif sait détecter.
Anthropic propose justement que les laboratoires publient la fréquence à laquelle leurs contrôles repèrent des comportements dangereux connus et fassent tester ces dispositifs par des tiers. L'entreprise indique que METR a déjà éprouvé sa plateforme de surveillance différée ; cette intervention ne vaut pas certification de l'ensemble des mesures publiées en septembre. Six pour cent du calcul de R&D consacré à la sûreté Le troisième indicateur porte sur une seule semaine, du 13 au 20 juillet.
Anthropic estime qu'environ 6 % du calcul consacré à la R&D en IA est allé à la sûreté. Dans le sous-ensemble de la R&D pilotée par l'IA, cette part atteint environ 12 %. Ce second taux mesure la place de la sûreté dans le calcul des agents de recherche, pas le poids de ces agents dans le calcul total.
La classification est volontairement restrictive : les travaux servant autant les capacités que la sûreté ne sont pas comptés dans cette dernière catégorie. Le calcul utilisé par les classificateurs de protection n'y est pas inclus non plus. Pour les expériences de recherche, la méthode repose sur un échantillon d'environ 14 % des quelque 10 000 exécutions de la semaine, davantage pondéré vers celles qui consomment le plus de ressources.
Cette photographie ne donne donc ni une tendance ni une mesure exhaustive de l'effort de sûreté. Certaines étiquettes décrivant les charges de travail sont attribuées automatiquement, sans vérification. Une recherche mobilisant beaucoup de temps humain peut consommer peu de calcul.
Et un outil de contrôle devenu plus efficace peut faire baisser la part mesurée sans réduire la protection fournie. La vérification indépendante reste à organiser Des experts extérieurs ont participé à un atelier pour mettre à l'épreuve les propositions de mesure. Au 18 septembre, la publication ne présente toutefois pas d'audit indépendant de ces chiffres.
Anthropic annonce vouloir accueillir plusieurs organisations d'évaluation et propose qu'un tiers, ou des modèles d'un concurrent, puisse reproduire les classements. Les modalités de publication régulière et la méthode commune entre laboratoires restent à construire. Ces questions de contrôle accompagnent aussi l'élargissement des usages commerciaux.
Le même 17 septembre, Anthropic a ouvert en bêta son Life Sciences Verification Program, destiné aux professionnels des sciences du vivant. Après examen des références, de la sécurité et de l'encadrement des recherches, les équipes peuvent obtenir un accès standard, renouvelable annuellement, avec des protections plus permissives pour la biologie. Un accès supplémentaire réservé aux projets à risque retire les blocages visant les requêtes de sciences du vivant.
Il doit être renouvelé tous les six mois et reste attaché à un projet. Disponible pour Opus 5 et Sonnet 5, il est plus restreint pour Mythos. Les autres protections, dont celles de cybersécurité, restent actives.
Anthropic prévoit une surveillance des usages dans la durée, avec conservation des données pendant trente jours, et précise qu'elles ne servent pas à entraîner ses modèles. Ce programme et les indicateurs internes concernent des périmètres distincts. Leur point commun est la nécessité de préciser ce qui est surveillé, à quel moment et par qui.
Sur la R&D, l'entreprise a publié les premières définitions nécessaires à cette vérification. La reproduction des mesures par un évaluateur externe permettra d'en apprécier la robustesse au-delà de sa propre déclaration. ST Stephane Nachez Rédaction ActuIA — actualités, données et analyses sur l'intelligence artificielle pour les décideurs.