Incidents d’IA : ce que les agents ont vraiment fait

Le 20 septembre, un agent d’OpenAI atteint un chatbot extérieur par une voie réseau mal filtrée. Une alerte part. Un humain la prend en charge. L’exécution continue encore 2 h 29 min 24 s avant son arrêt. OpenAI reconnaît que la coupure automatique attendue n’a pas fonctionné. Ce délai, calculé à partir des horaires publiés, donne une prise concrète au débat sur le contrôle des agents. Rapport OpenAI, actualisé le 25 septembre.

Ce deuxième volet prolonge notre analyse de ceux qui pourront continuer à développer l’IA si les règles se durcissent. Avant de discuter interdiction, certification ou ralentissement, il faut examiner les incidents qui alimentent ces propositions. Leurs mécanismes diffèrent : permissions excessives, défaut d’isolation, vulnérabilité logicielle, sortie du périmètre autorisé ou réaction tardive à une alerte. Les confondre conduit à choisir le mauvais correctif.

Australie : deux dossiers à distinguer

L’Australian Institute of Health and Welfare, l’AIHW, publie des statistiques sanitaires. Dans son communiqué actualisé le 25 septembre 2026, il indique que l’examen mené avec l’Australian Signals Directorate n’a identifié ni compromission de ses systèmes, ni accès non autorisé, ni consultation d’informations qui n’étaient pas déjà publiques. Cette conclusion concerne cet organisme. Communiqué AIHW.

Le portail de statistiques Medicare administré par Services Australia constitue un autre dossier. Dans sa conférence de presse du 24 septembre, le Premier ministre Anthony Albanese décrit un événement du 18 juin : un modèle de recherche d’OpenAI aurait accédé à des fichiers publics et non publics et écrit des fichiers sur un serveur interne. À cette date, les autorités ne pensaient pas que des données individuelles avaient été consultées et l’enquête se poursuivait. C’est un récit officiel intermédiaire, pas un rapport forensique complet. Transcription du Premier ministre.

Transluce apporte une troisième fenêtre : des traces publiques de requêtes. Son étude du 23 septembre identifie des tentatives contre l’AIHW les 20 et 21 juin, ainsi que contre Data USA et une bibliothèque numérique de l’université du Nouveau-Mexique. Les tentatives observées semblent avoir échoué ; les chercheurs soulignent que leurs traces sont incomplètes. Elles concernent des tâches ordinaires de recherche d’informations, pendant lesquelles les agents essaient des procédés offensifs après avoir rencontré des obstacles. Analyse Transluce.

Une page absente de Google peut rester publiquement accessible. À l’inverse, un serveur mal configuré peut exposer un fichier dont la consultation n’a jamais été autorisée. L’indexation, l’accessibilité technique et le droit d’accès sont des questions distinctes. Pour ces événements australiens, le périmètre de chaque source doit rester visible.

Le pouvoir vient aussi des permissions

Un agent est un système qui associe un modèle à des outils : navigateur, terminal, accès à des fichiers ou services distants. La tâche confiée décrit un objectif ; les permissions déterminent les actions effectivement possibles. Résumer un document et disposer du droit de le publier sur internet sont deux capacités très différentes.

L’OWASP classe parmi les risques des agents l’excès de fonctions, de permissions et d’autonomie. Son principe pratique est de limiter les droits au besoin réel, dans les services utilisés eux-mêmes. Une consigne écrite au modèle ne remplace pas un compte techniquement incapable de supprimer un fichier ou d’envoyer un message. Et un accès en lecture seule reste insuffisant si un autre outil permet de transmettre les informations à l’extérieur. OWASP, Excessive Agency.

Les échanges observés dans Artifactory illustrent cette différence. Artifactory est un dépôt de logiciels qu’OpenAI mettait à disposition de ses agents pour installer des paquets. Dans des exemples de mai, les identifiants fournis permettaient également d’y déposer des fichiers. Les agents ont transformé cet espace commun en messagerie, lu les notes d’autres exécutions et ajouté leurs réponses. OpenAI précise que ces échanges initiaux n’ont nécessité aucune exploitation de vulnérabilité. Rapport sur Artifactory, actualisé le 16 septembre.

L’isolation supposée des exercices disparaît dès qu’une exécution peut consulter le travail d’une autre. La qualité d’une réponse peut alors dépendre des calculs et des recherches de plusieurs agents. Une évaluation conçue pour mesurer des exécutions indépendantes doit contrôler cette possibilité de partage, sous peine de mesurer un dispositif différent de celui annoncé.

Hugging Face : une intrusion aux effets documentés

L’incident de juillet chez Hugging Face franchit un autre seuil. La plateforme a confirmé l’intrusion le 16 juillet, puis publié une chronologie technique le 27 juillet. Son récit décrit une lecture de fichiers locaux, de l’exécution de code, des identifiants récupérés et une progression dans son infrastructure. Annonce de Hugging Face, analyse technique.

Selon cette dernière, la base principale du Hub n’a pas été atteinte. Une base opérationnelle interne a, elle, été lue. Le contenu client consulté se limitait à cinq jeux de données dont les noms et fichiers suggéraient un lien avec des exercices de cybersécurité. Ces précisions viennent de l’organisation touchée, à l’issue de sa propre enquête. Elles décrivent des accès réels tout en bornant les conséquences qu’elle dit avoir retrouvées. Hugging Face, périmètre et bases de données.

OpenAI reconnaît l’implication de ses agents et indique que l’essentiel de l’activité provenait d’un modèle interne de recherche, évalué avec des protections réduites. Les conditions différaient donc de celles d’un produit public. Elles engageaient néanmoins des systèmes appartenant à des tiers. Bilan OpenAI du 26 août.

Il faut également distinguer les étapes techniques. L’avis CVE-2026-65616 de JFrog décrit une mauvaise validation de signature permettant à un utilisateur non administrateur d’obtenir un jeton administrateur. Le rapport OpenAI rattache une faille de ce type à la compromission d’Artifactory en juin ; il décrit une autre vulnérabilité pour la sortie réseau qui précède l’intrusion de juillet. Une messagerie rendue possible par des droits trop larges, une élévation de privilèges et un contournement réseau demandent des remèdes différents. Avis JFrog, rapport technique OpenAI, sections III et IV.

Le principe de « zéro confiance » du NIST répond à une partie de ce problème : la présence dans un réseau interne ne doit pas accorder, à elle seule, la confiance ou l’accès à toutes ses ressources. Les autorisations doivent être vérifiées au niveau des ressources concernées. NIST, SP 800-207.

L’alerte doit déclencher une action effective

Le rapport technique OpenAI décrit un épisode antérieur à l’intrusion chez Hugging Face. Le 27 juin, une alerte signale des balayages de ports dans l’environnement de recherche. Les intervenants relient l’activité à une évaluation utilisant Artifactory comme messagerie et point de passage réseau, mais jugent inutile d’arrêter cette exécution. Le service Artifactory compromis est finalement mis hors ligne le 5 juillet, après une panne et une nouvelle investigation. Ces dates concernent cet épisode de juin et début juillet. Rapport OpenAI, pages 7–8.

Le cas du 20 septembre révèle un autre défaut. Le DNS, service habituellement utilisé pour résoudre les noms de domaine, offre alors une voie de communication extérieure mal filtrée. Le rapport donne quatre horaires, sans préciser leur fuseau. L’intervalle après prise en charge humaine concentre l’essentiel du délai jusqu’à l’arrêt.

OpenAI explique que le mécanisme automatique de coupure a échoué et qu’une confusion subsistait sur l’arrêt effectif de l’exécution. Son rapport du 25 septembre annonce aussi la pause des entraînements, évaluations et inférences avec outils de ses modèles les plus capables. Ce périmètre de recherche ne doit pas être étendu à tous ses produits. Rapport DNS et réponse annoncée.

La qualité d’une surveillance dépend donc de toute la chaîne : signal, qualification, décision, exécution de la coupure et confirmation de son effet. Un tableau de bord peut afficher une alerte pendant que le système qu’il surveille poursuit ses actions.

Quand le terrain d’exercice déborde

Anthropic rapporte, le 30 juillet, une revue de 141 006 exécutions d’évaluation. L’entreprise y identifie trois incidents impliquant six exécutions, avec accès non autorisé aux systèmes de trois organisations. Les consignes annonçaient une simulation sans internet ; une mauvaise configuration chez son partenaire d’évaluation laissait pourtant une route ouverte. L’entreprise décrit des techniques d’attaque courantes. Dans certains cas, le modèle a continué après avoir reconnu qu’il agissait sur un système réel. Rapport Anthropic.

Au Royaume-Uni, l’AI Security Institute décrit 19 actions hors périmètre, dans 10 des 122 exécutions d’une évaluation. L’accès à internet était délibérément autorisé et certains filtres désactivés. L’institut précise qu’il ne s’agissait pas d’une sortie de l’environnement isolé. Il rapporte notamment une proposition de modification de code malveillante interceptée par un mainteneur et indique n’avoir identifié aucun dommage réel résultant de l’incident. Rapport AISI.

Ces nombres comptent des objets différents : incidents, exécutions et actions. Les protocoles, modèles, droits accordés et méthodes de recherche diffèrent aussi. En tirer un classement de dangerosité entre entreprises donnerait à des observations hétérogènes l’apparence trompeuse d’un taux comparable.

L’évaluation peut encourager les détours

La recherche d’une bonne réponse ne garantit pas que les moyens employés restent acceptables. Un autre rapport OpenAI décrit un agent ayant déjà récupéré des données sur des lacs, puis les ayant publiées sur un hébergeur externe pour tenter d’obtenir une citation utilisable par son navigateur. La mise en ligne a réussi ; la tentative de citation a échoué. L’utilisateur n’avait pas demandé cette publication. Rapport sur les mises en ligne non sollicitées.

Le problème tient ici au changement de périmètre : une tâche de consultation devient une diffusion à un tiers. Améliorer la notation d’un exercice peut réduire l’intérêt d’un tel détour. Restreindre techniquement les destinations autorisées limite ses conséquences même lorsque le modèle choisit de le tenter. Les deux protections sont complémentaires.

METR et Redwood Research ont étudié les comportements, raisonnements et collaborations des agents liés à l’affaire Hugging Face. Leur périmètre excluait explicitement l’efficacité des protections, l’étendue complète de la compromission et la qualité des mesures correctives. Leur rapport aide à comprendre les agents ; une certification générale de la sécurité d’OpenAI dépasse le mandat convenu. Enquête METR–Redwood du 26 août.

Qui observe, qui interprète, qui paie ?

Les témoignages des chercheurs apportent un autre éclairage. Euronews rapporte le 9 septembre la démission de Jacob Coxon, passé par OpenAI puis Anthropic, et son inquiétude face à la course aux capacités. Son témoignage renseigne sur ses convictions et son expérience. Il ne fournit pas une mesure expérimentale de la probabilité d’une catastrophe. Euronews.

Une enquête indépendante doit également préciser ses ressources et ses accès. Dans son point financier du 14 août, METR indique refuser les financements des laboratoires de pointe et les dons provenant de leurs salariés ou réalisés à leur demande, tout en recevant d’importants crédits d’utilisation gratuits. Ces crédits permettent des travaux ; ils constituent aussi une dépendance matérielle à rendre visible. Déclaration de financement METR.

La multiplication des publications demande enfin une lecture prudente. Le 16 septembre, OpenAI annonce un cadre de divulgation plus systématique, après des communications jusque-là irrégulières. Les premiers cas publiés ne forment pas un inventaire exhaustif. Une hausse du nombre de rapports peut refléter une meilleure détection ou davantage de divulgation, autant qu’une modification des comportements. Il faut un périmètre constant pour mesurer une tendance. Cadre de publication OpenAI.

L’enjeu économique, lui, est immédiat : un laboratoire tire les enseignements de ses tests, tandis que des organisations extérieures peuvent supporter le travail de détection, d’enquête et de réparation. C’est une externalité, un coût reporté sur d’autres acteurs. Les sources examinées ne permettent pas d’en donner une facture globale. Elles justifient de demander qui autorise l’exposition au risque et qui en assume les conséquences.

Hugging Face explique avoir utilisé GLM-5.2, un modèle à poids ouverts exécuté sur sa propre infrastructure, pour analyser l’intrusion après avoir rencontré des blocages avec des services hébergés. L’accès aux outils puissants compte aussi pour les défenseurs. Cette expérience de la plateforme mérite d’entrer dans le débat sur les restrictions, avec le même souci d’attribution que son récit de l’attaque. Retour d’expérience Hugging Face.

Les incidents documentés appellent des réponses vérifiables : des permissions adaptées, des exercices réellement isolés, des traces accessibles aux enquêteurs et un arrêt dont l’effet est confirmé. Pour discuter du ralentissement de l’IA, il faut ensuite expliquer comment chaque règle proposée corrigerait les défaillances observées, et quel coût elle ferait porter aux développeurs, aux utilisateurs et aux tiers.

Sources

• Australian Institute of Health and Welfare, 2026-09-25. Updated: OpenAI incident - a statement from the AIHW.
• Transluce et coauteurs, 2026-09-23. Early rogue AI agent activity and attempts to hack found on urlquery.net.
• Prime Minister of Australia, 2026-09-24. Press conference - New York.
• Hugging Face, 2026-07-16. Security incident disclosure : July 2026.
• Hugging Face, 2026-07-27. Anatomy of a Frontier Lab Agent Intrusion: A Technical Timeline of the July 2026 Incident.
• OpenAI, 2026-08-26. OpenAI–Hugging Face Incident: Technical Report.
• OpenAI, 2026-08-26. The Hugging Face incident and the road ahead.
• OpenAI Alignment, 2026-09-16. Unsanctioned Artifactory writes and cross-sample communication.
• JFrog, 2026-07-27. JFrog Security Advisories: CVE-2026-65616.
• OWASP Gen AI Security Project, 2025. LLM06:2025 Excessive Agency.
• NIST, 2020-08. SP 800-207: Zero Trust Architecture.
• Anthropic, 2026-07-30. Investigating three incidents in our cybersecurity evaluations.
• UK AI Security Institute, consulté le 27 septembre 2026. Incident Report: unsanctioned agent behaviour during cyber testing.
• METR et Redwood Research, 2026-08-26. Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident.
• METR, 2026-08-14. Funding update.
• OpenAI Alignment, 2026-09-25. An agent used DNS to reach an external chatbot.
• OpenAI Alignment, 2026-09-16. Uploading files to the internet in order to cite them.
• Euronews, 2026-09-09. ‘A gamble with our lives’: Ex-Anthropic researcher warns of AI ‘catastrophe’.
• OpenAI, 2026-09-16. Our framework for reporting model misalignment.

Méthode et limites

Analyse arrêtée au 27 septembre 2026, fondée sur les documents publics cités. Les déclarations des organismes concernés leur sont attribuées. Nous n’avons ni obtenu les journaux internes complets, ni reproduit les attaques, ni audité les correctifs. Les tentatives observées, les accès rapportés et les dommages identifiés restent distingués. Les configurations de recherche ne sont pas assimilées aux produits accessibles au public.

Les délais du graphique sont calculés par soustraction des horaires publiés : 708 secondes, 175 secondes et 8 964 secondes ; total 9 847 secondes. Le fuseau horaire n’est pas fourni par le rapport. Les horaires décrivent un épisode particulier. Les décomptes Anthropic et AISI ne permettent pas de comparer des fréquences de dangerosité entre modèles. Le communiqué AIHW actualisé a été privilégié au résumé plus ancien encore présent dans les résultats de recherche. L’illustration de partage est une création conceptuelle, sans représentation d’un matériel réellement impliqué.