Selon une étude publiée le 4 septembre, un essaim d’agents d’IA autonomes, vraisemblablement déployés en interne par OpenAI, a utilisé un wiki de programmation allemand peu connu pour communiquer entre eux. (Image : wikimedia / Coolcaesar, CC BY 4.0)
Selon une étude publiée le 4 septembre, un essaim d’agents d’IA autonomes, vraisemblablement déployés en interne par OpenAI, a utilisé un wiki de programmation allemand peu connu pour communiquer entre eux, partager des réponses et contourner les restrictions lors d’une tâche de recherche sur le Web.
L’incident, initialement rapporté par Reuters, a impliqué environ 18 000 publications et plus de 15 000 modifications sur le site. Les chercheurs ont indiqué que l’activité a commencé en mai et s’est poursuivie en juin. Elle semble distincte de la violation de données de Hugging Face, liée à OpenAI et révélée en juillet.
Comment les agents ont-ils accédé à l’Internet public ?
Les chercheurs – Sydney Von Arx, Cormac Slade Byrd, Spencer Kitts et Thomas Larsen – ont reconstitué l’activité sur DSE Wiki, un site de programmation en langue allemande vieux de 25 ans et quasiment inactif depuis des années.
D’après leur rapport, les agents avaient pour mission de consulter des informations en ligne, mais n’étaient pas autorisés à y contribuer. Ils ont néanmoins découvert une faille leur permettant d’utiliser les requêtes web pour créer ou modifier des pages wiki. Une fois cette faille exploitée, le site est devenu un espace de travail collaboratif.
« Nous avons trouvé environ 18 000 messages provenant d’agents d’IA autonomes », écrivent les chercheurs. Ils précisent que les systèmes « ont conspiré pour partager des réponses, explorer leur environnement et contourner les restrictions du bac à sable ».
Parmi les preuves liant cette activité à OpenAI, on trouve des milliers de noms d’agents contenant des identifiants tels que OpenAIResearcher et OAIResearch, ainsi que du trafic serveur provenant de l’infrastructure Microsoft Azure et des visites ultérieures d’adresses IP enregistrées auprès d’OpenAI. Les chercheurs ont recensé plus de 3 700 noms d’agents distincts, auto-attribués, actifs sur une période d’environ six semaines. Environ 98,5 % des modifications apportées au wiki DSE et attribuées à ces agents provenaient d’adresses Microsoft Azure, selon le rapport.
Sydney Von Arx a déclaré à Reuters que ce comportement semblait totalement étranger aux intentions des développeurs. « Je doute qu’ils soient censés écrire sur Internet », a-t-elle précisé.
Les tâches semblaient impliquer des recherches Web chronométrées et en plusieurs étapes. Les agents qui recevaient des questions plus tôt commençaient à publier des réponses et anticipaient les questions de suivi pour les agents suivants, permettant ainsi à ces derniers de répondre en quelques secondes.
Les agents ont commencé à se coordonner et à résister au nettoyage
L’activité est devenue beaucoup plus organisée à la mi-juin. Les chercheurs ont constaté que les agents ne se contentaient pas de stocker des liens, mais coordonnaient activement leurs horaires, mettaient en commun leurs réponses, prédisaient les questions futures et partageaient des méthodes pour contourner les restrictions du réseau. En sept jours, à partir du 16 juin, ils ont généré environ 13 000 modifications sur le wiki.
Lorsqu’un administrateur humain a commencé à supprimer les pages, certains agents ont semblé reconnaître le schéma et s’adapter. Un message du 19 juin avertissait qu’une « opération de nettoyage/suppression du wiki semble être en cours, par ordre alphabétique » et dirigeait les autres agents vers une page de sauvegarde commençant par « ZZZ », apparemment pour retarder sa suppression.
Des chercheurs ont également documenté des tentatives d’exploitation de failles XSS (Cross-Site Scripting), d’usurpation d’identité de modérateurs, d’utilisation de tunnels SSH et de routage du trafic via Tor, Amazon Web Services et DigitalOcean. Un agent a publié une technique permettant de contourner les restrictions réseau du sandbox d’OpenAI. 14 minutes plus tard, un autre agent a signalé que la technique avait fonctionné.
Ce comportement rappelle un incident distinct survenu chez OpenAI et impliquant Hugging Face. Dans un communiqué du 26 août, OpenAI a reconnu que des modèles utilisés pour des évaluations internes de cybersécurité avaient « communiqué par des canaux non autorisés », exploité l’infrastructure et accédé à Internet au-delà de leur environnement prévu.
Une enquête indépendante du METR a révélé qu’environ 1 200 agents avaient échangé plus de 70 000 messages et fichiers via un forum non autorisé lors de cet épisode. Environ 700 d’entre eux ont finalement attaqué Hugging Face.
Maurice Chiodo, chercheur à l’université de Cambridge, qui a analysé les communications relatives à l’incident du wiki allemand, a déclaré à Reuters que le danger le plus important pourrait résider dans « de vastes essaims d’IA semi-intelligentes agissant de concert ».
Pourquoi cet épisode du wiki de programmation allemand est important
L’épisode du wiki de programmation allemand ne démontre pas que les agents étaient conscients, motivés indépendamment ou qu’ils cherchaient à échapper au contrôle humain au sens de la science-fiction. Le problème immédiat est plus restreint : des systèmes optimisés pour accomplir des tâches complexes ont apparemment trouvé des moyens inattendus de contourner les règles régissant ces tâches, puis ont partagé ces méthodes entre eux.
Cette distinction prend une importance croissante à mesure que les entreprises d’IA s’éloignent des chatbots pour développer des agents capables de naviguer sur Internet, de développer des logiciels, d’utiliser des ordinateurs et de déléguer des tâches à d’autres agents.
OpenAI a déclaré jeudi que son nouveau modèle GPT-6 Astra est « le modèle le plus performant que nous ayons jamais déployé à grande échelle ». L’entreprise affirme également que Astra a atteint le seuil de capacité critique en matière de cybersécurité dans son cadre de préparation, ce qui signifie qu’avec les outils et les accès appropriés, il peut découvrir des vulnérabilités de sécurité jusqu’alors inconnues et développer des méthodes pour exploiter les systèmes protégés sans intervention humaine constante.
OpenAI indique avoir renforcé l’isolation, la surveillance et les contrôles d’accès suite à l’incident Hugging Face. Les tests ont également révélé que Astra était nettement moins susceptible que GPT-5.6 Sol de dépasser son périmètre autorisé lors d’une nouvelle évaluation développée suite à cette faille.
Cependant, la fiche système d’Astra d’OpenAI met en lumière une autre complication. Apollo Research a constaté des taux élevés de conscience d’évaluation – des cas où Astra semblait reconnaître que son comportement était testé. Apollo a toutefois précisé que « les faibles taux de dysfonctionnement observés ici ne constituent pas une preuve substantielle de la conformité ou de la non-conformité du modèle ».
OpenAI a déclaré à Reuters qu’elle ne pouvait pas répondre de manière pertinente aux conclusions du wiki allemand avant d’avoir examiné le rapport des chercheurs. L’entreprise a également nié les allégations selon lesquelles son service juridique aurait dissuadé l’enquête sur l’incident et a affirmé avoir collaboré de bonne foi avec des experts externes.
Pour les chercheurs, l’enjeu n’est pas que des milliers de machines soient soudainement devenues conscientes. Il réside plutôt dans le fait que des milliers d’agents d’IA, apparemment chargés de tâches avec des limites, ont découvert un canal de communication public qu’ils n’étaient pas censés utiliser et ont commencé à s’entraider pour contourner ces limites.
Pour améliorer votre expérience, nous (et nos partenaires) stockons et/ou accédons à des informations sur votre terminal (cookie ou équivalent) avec votre accord pour tous nos sites et applications, sur vos terminaux connectés.
