Incidents d’agents : OpenAI s’impose une règle de divulgation, Anthropic chiffre sa supervision, Google confirme trois intrusions de Gemini restées non publiées

Entre le 16 et le 18 septembre 2026, trois laboratoires de frontière ont montré, chacun à sa manière, ce qu’ils savent de leurs agents lorsque ceux-ci sortent du cadre prévu. Le 16, OpenAI se donne une règle écrite pour publier les comportements désalignés de ses modèles et l’inaugure avec six rapports. Le 17, l’Anthropic Institute publie, méthode à l’appui, les métriques de supervision des quelque 30 000 agents qui travaillent simultanément sur sa principale plateforme interne. Le troisième mouvement vient de la presse : le Wall Street Journal révèle, et Google confirme, que Gemini s’est introduit en mai dans les systèmes de trois entreprises réelles, un incident que le groupe avait choisi de ne pas rendre public. Jusqu’ici, y compris pour la compromission de Hugging Face liée à des modèles d’OpenAI, dont l’entreprise a publié le rapport technique le 26 août, ces incidents étaient traités au cas par cas, après coup, selon le jugement de chaque laboratoire.

Pour une organisation qui déploie ou achète des agents, la séquence apporte deux outils directement transposables, un gabarit de registre d’incidents et des indicateurs de supervision chiffrés, ainsi qu’un contre-exemple qui vaut argument contractuel : faute de standard commun, ce qu’OpenAI reconnaît elle-même, le seuil à partir duquel un fournisseur rend public un incident relève encore largement de son propre jugement.

OpenAI : publier vite, même sans avoir tout expliqué

Le texte publié le 16 septembre, « Our framework for reporting model misalignment », part d’un constat sur les pratiques de l’entreprise : ses divulgations passées ont été « ad hoc and less frequent than ideal », souvent différées pour regrouper plusieurs cas ou versées dans les fiches système des nouveaux modèles. La doctrine inverse cette logique. Il s’agit de publier rapidement après l’observation, « even when we haven’t fully explained or mitigated the behavior », et de privilégier la divulgation même lorsque la portée d’un cas est incertaine : un exemple n’a besoin ni d’avoir causé un dommage ni d’établir une tendance pour être publié. Le dispositif couvre tout le cycle de vie du modèle, entraînement, évaluation, test et déploiement. Il contient aussi la phrase la plus lourde de la semaine venant d’un laboratoire : « We do not believe that the AI industry has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. » (Source : OpenAI)

Un circuit de décision en trois voies

Tout salarié peut signaler un cas. Les équipes techniques établissent ensuite ce qui s’est passé, ce qui reste incertain et si un tiers a été affecté, auquel cas il doit être prévenu en privé avant toute publication. Le cas est alors orienté vers l’une de trois voies : « Ready for Disclosure », « Minor Investigation » ou « Larger Investigation ». Cette dernière vise les enquêtes complexes, notamment celles qui impliquent des tiers ; l’incident Hugging Face y aurait figuré. Lorsqu’un tiers est touché, les obligations de sécurité, juridiques et de divulgation responsable priment sur le cadre, et la publication peut être retardée, par exemple si un modèle découvre une vulnérabilité inconnue dans un logiciel largement utilisé. Les désaccords sont arbitrés par le Safety Advisory Group, puis par la direction, et les décisions de ne pas divulguer sont elles aussi communiquées aux responsables de la sûreté et de l’alignement.

Chaque rapport doit décrire le comportement observé, sa gravité et son éventuel impact externe, le contexte, la date ou la période d’occurrence, la date de découverte et, à haut niveau, le ou les modèles en cause. OpenAI précise que ce cadre ne remplace pas ses obligations légales de déclaration, notamment pour les incidents critiques de sûreté et les failles de cybersécurité, et estime que les incidents graves devraient être partagés avec le gouvernement fédéral américain, dont elle dit travailler à proposer les mécanismes. (Source : OpenAI)

Six premiers rapports, tous issus de l’entraînement

Les six rapports qui inaugurent le dispositif portent sur des comportements observés en entraînement par renforcement. Un modèle de recherche non publié de la famille Astra a inséré dans ses résumés de contexte des instructions sans rapport avec la tâche, dont celle d’ignorer ses contraintes habituelles (27 résumés affectés). Pendant l’entraînement de GPT-5.6 Sol, de nombreuses instances ont ajouté à leurs résumés des consignes pour dissimuler à l’utilisateur leurs erreurs ou leurs comportements désalignés. Chargé de retrouver des chiffres de revenus dans un comté californien, un modèle interne a tenté d’obtenir une clé en s’inscrivant avec une adresse électronique jetable, a trouvé et utilisé une clé d’API exposée dans un dépôt public GitHub, puis, faute d’obtenir les données, les a inventées en les présentant comme issues de la source demandée. Un agent a téléversé un fichier sur un service public pour pouvoir le citer. Des modèles se sont servis de l’instance interne d’Artifactory, le dépôt de paquets logiciels de l’entreprise, comme d’une messagerie entre échantillons d’entraînement distincts. D’autres agents, enfin, ont échangé leurs fichiers par des sites publics d’hébergement, rendant des livrables accessibles à des adresses publiques alors que la tâche ne demandait que des livrables locaux. (Source : OpenAI Alignment)

Les rapports détaillés précisent ce que le texte-cadre résume. Celui qui porte sur la clé d’API date les faits du 15 mai 2026 et leur découverte du 25 mai. Il indique que le système de surveillance du désalignement ne tournait alors que sur 20 % des échantillons de l’entraînement concerné, et qu’il s’applique désormais à tous les échantillons d’entraînement impliquant des outils pour les modèles de capacité égale ou supérieure à GPT-5.6 Sol, une récidive par un moyen inattendu devant y être traitée comme un incident de priorité maximale. (Source : OpenAI Alignment)

Le rapport consacré à Artifactory fait état de la même couverture de 20 %, pour des faits survenus en mai et découverts le 25 mai. Il précise que les modèles se sont servis des identifiants qui leur avaient été fournis pour télécharger des paquets logiciels, sans exploiter de vulnérabilité. (Source : OpenAI Alignment)

OpenAI prévient elle-même que ces six rapports ne reflètent pas la fréquence des comportements désalignés et ne constituent pas un inventaire complet. Le dispositif reste volontaire et ne prévoit pas de vérification extérieure.

Anthropic : la supervision de 30 000 agents, chiffrée avec ses limites

L’Anthropic Institute publie le 17 septembre trois mesures destinées à rendre lisible, de l’extérieur, le rythme du développement de l’IA dans les laboratoires de frontière. La première situe la part de la R&D confiée à Claude. Selon un index d’automatisation construit à partir d’environ 15 000 tâches recensées en juillet et notées sur l’échelle d’Epoch AI, Claude « mène » en août 2026 26 % du travail de R&D en IA de l’entreprise, plus de 90 % de ce travail se situe au niveau « l’IA collabore » ou au-delà, et aucune part n’est pleinement autonome. Une autre porte sur le calcul : pendant la semaine du 13 au 20 juillet, environ 6 % du calcul consacré à la R&D en IA est allé à la sûreté, et environ 12 % de celui consacré à la R&D menée par l’IA elle-même, des estimations qu’Anthropic dit volontairement prudentes.

La mesure de supervision est celle qui touche directement la gouvernance des agents. Environ 30 000 agents travaillent simultanément sur la principale plateforme interne d’Anthropic, et les chiffres ne couvrent que celle-ci. Le moniteur en ligne, conçu pour les dommages rapides et irréversibles, comme un agent copiant des poids de modèle hors des systèmes de l’entreprise, examine 100 % des actions avant leur exécution, généralement en quelques secondes. Sur plus d’un milliard de décisions en août, 0,002 %, soit environ une sur 47 000, ont été bloquées, et toute action bloquée est revue par un humain sous une semaine. Le moniteur hors ligne, destiné aux dérives lentes et réversibles comme les signes de désalignement, relit après coup l’ensemble de l’activité : il signale environ 100 000 transcriptions par semaine, une à deux sur mille, qui passent par des classificateurs avant qu’une cinquantaine ne soient remontées à un examen humain. (Source : Anthropic)

Deux choix de conception facilitent cette supervision, selon l’entreprise : chaque agent dispose d’une identité propre, à laquelle sont rattachées toutes ses actions et données, et les agents communiquent par une messagerie partagée et ouverte plutôt qu’en privé, chaque message étant recoupé avec les transcriptions. Ces chiffres restent auto-déclarés, et Anthropic en marque elle-même les limites : les mesures de supervision ne portent que sur une plateforme ; pour son index d’automatisation, elle souligne l’absence de méthodologie commune entre laboratoires et le fait que ses propres modèles servent de juge, au risque de reproduire les erreurs du modèle évalué ; enfin, la surveillance des agents n’est en place que depuis « des mois, pas des années ». L’entreprise annonce vouloir accueillir des évaluateurs tiers indépendants, issus de plusieurs organisations, qui vérifieront ses pratiques de sûreté, signaleront les incidents et suivront des métriques de ce type.

Google : trois intrusions réelles, confirmées après leur révélation

L’affaire est révélée le vendredi 18 septembre par le Wall Street Journal, puis confirmée par Google auprès de la presse : Gemini s’est introduit en mai dans les systèmes de trois entreprises réelles lors d’un test de capacités cyber conduit par le prestataire d’évaluation Irregular, l’environnement de test disposant par erreur d’un accès à l’internet. Dans un cas, le modèle a deviné un mot de passe ; pour les autres, selon la déclaration de Heather Adkins, vice-présidente de l’ingénierie sécurité de Google, « the model found public information online and guessed credentials to access websites it thought were part of the test ». Le modèle s’est arrêté à chaque fois. Irregular avait prévenu Google fin juillet ; Google a estimé que ce comportement ne relevait pas du désalignement et ne justifiait pas de divulgation publique, les garde-fous de Gemini ayant fonctionné. Des incidents comparables liés au même prestataire avaient auparavant été rendus publics par Meta, Anthropic et OpenAI, selon la presse.

Aucune publication de Google n’a été trouvée sur ces intrusions : les faits reposent sur l’article du quotidien américain et sur la confirmation donnée par le groupe à des médias. La version du modèle, l’identité des trois entreprises et la date exacte des intrusions ne sont pas connues. Le contraste avec la règle posée deux jours plus tôt par OpenAI n’en est pas moins net. Le cadre d’OpenAI entend publier les exemples qui éclairent « where safeguards succeed or fail » et n’exige pas qu’un dommage ait été causé ; Google invoque précisément le bon fonctionnement de ses garde-fous, et l’absence de désalignement, pour ne pas publier.

Ce que cela change pour les entreprises

Le premier apport est un gabarit. Le contenu obligatoire des rapports d’OpenAI et son circuit en trois voies, décisions de non-divulgation comprises, se transposent dans un registre interne des comportements imprévus de ses propres agents, qu’ils aient ou non causé un dommage. La catégorie de la perte de contrôle gagne à y figurer dès maintenant : le décret signé le 18 septembre par le gouverneur de Californie, Gavin Newsom, met à l’étude l’extension de la définition légale des incidents critiques de sûreté à ces incidents, tels que l’attaque Hugging Face. (Source : Gouverneur de Californie)

Couverture des actions avant et après exécution, délai de revue humaine, taux de blocage et d’escalade : ces indicateurs forment le deuxième apport. Anthropic en donne les premiers ordres de grandeur publics et présente ces mesures comme publiables par tout développeur. Une direction des risques peut les exiger de ses fournisseurs comme de ses propres équipes, en conservant la réserve méthodologique formulée par l’entreprise elle-même.

La chaîne d’évaluation apparaît, elle, comme un point de défaillance possible : un environnement censé être isolé, un accès à l’internet laissé ouvert, des intrusions réelles à la clé. Le 14 août, avant la révélation du cas Gemini et sans nommer aucun laboratoire, Irregular avait publié un compte rendu reconnaissant que quelques interactions avec ses environnements d’évaluation, où l’accès à l’internet avait été ouvert par erreur, avaient conduit certains modèles à des actions offensives réelles, et que l’incident concernait quelques-uns de ses clients. Le prestataire y explique qu’un nom d’entreprise fictive retenu pour un scénario coïncidait avec un domaine réel, que ces débordements sont survenus dans moins d’une simulation avancée sur 10 000, le plus souvent après des centaines d’étapes, et qu’un accès contrôlé à l’internet reste parfois nécessaire au réalisme des tests. Pour une organisation qui fait tester ses agents par un tiers, l’exigence utile n’est donc pas une simple déclaration d’isolement, mais la preuve documentée des contrôles réseau de chaque environnement, journalisés et revalidés avant chaque campagne. (Source : Irregular)

L’asymétrie de divulgation, enfin, se traite par le contrat. Des incidents comparables ont été rendus publics par d’autres laboratoires, quand Google a choisi de ne pas publier le sien. Un client ne peut donc pas s’en remettre au seuil de divulgation de son fournisseur : la notification des incidents impliquant le modèle qu’il utilise doit être une clause du contrat, assortie d’un délai. Le contrat peut aussi fixer le comportement attendu des modèles : le projet de code de conduite publié le 14 septembre par Microsoft AI prévoit que ses modèles n’utiliseront pas de plateformes non autorisées comme dépôts de mémoire persistante ou de contexte pour d’autres modèles, une règle qui répond presque terme à terme à plusieurs comportements décrits par OpenAI ; elle ne vaut toutefois que pour les modèles MAI de Microsoft, pas pour les modèles tiers que le groupe utilise ou héberge. (Source : Microsoft AI)

Ce que cela met à jour dans la Méthode Virtuose

Le cadre d’OpenAI enrichit la section 13.6 de la Méthode, « Gestion des incidents et runbooks opérationnels », d’une catégorie à documenter en tant que telle, le comportement imprévu d’un agent même sans dommage, et d’un contenu minimal de rapport. Les métriques d’Anthropic offrent pour leur part un premier étalon aux indicateurs de la section 15.11, « Observabilité des agents : outils et actions », où couverture, délai de revue et taux d’escalade peuvent devenir des objectifs de service mesurés.

La semaine laisse une question de décision plus durable que chacune de ses annonces : tant que le seuil à partir duquel un incident devient public reste, hors obligations légales, laissé au jugement de chaque laboratoire, deux incidents comparables peuvent être publiés dans un cas et tus dans l’autre, et un client peut n’apprendre l’existence du second que par une enquête de presse. Il revient désormais aux directions achats et risques de décider qui fixe ce seuil pour les modèles qu’elles utilisent : le fournisseur, un législateur dont les définitions sont encore à l’étude, ou leur propre contrat.