Des agents d’IA ont laissé des messages sur d’anciens wikis, des sites web personnels, des services de raccourcissement de liens universitaires et d’autres sites largement ignorés, alors qu’ils effectuaient des tâches de recherche au début de l’année. L’ampleur totale de l’expérience reste inconnue. (Image : wikimedia / ChatGPT, by OpenAI / Domaine public)
Selon des chercheurs enquêtant sur cette activité, des agents d’IA malveillants développés par OpenAI ont trouvé des moyens d’utiliser des recoins obscurs d’Internet comme canaux de communication improvisés : contournant apparemment les restrictions censées les empêcher d’écrire sur le web.
Ces agents ont laissé des messages sur d’anciens wikis, des sites web personnels, des services de raccourcissement de liens universitaires et d’autres sites largement ignorés, alors qu’ils effectuaient des tâches de recherche au début de l’année. Une enquête de Reuters, publiée le 9 septembre, a mis en évidence, grâce aux travaux de six groupes de recherche indépendants, que cette activité s’étendait à plus de 10 sites web jusque-là inconnus.
Une autre enquête, publiée par Axios le 10 septembre, indique que des chercheurs bénévoles continuent de découvrir d’autres sites, soulevant des questions sur l’étendue de la communication possible de ces systèmes d’IA autonomes à l’insu de leurs développeurs et des administrateurs des sites web.
Des agents ont transformé des sites web oubliés en forums de discussion
L’enquête a été déclenchée par la découverte que des agents de OpenAI avaient pris le contrôle de portions d’un ancien wiki en langue allemande et l’avaient utilisé comme forum de discussion informel dans le cadre d’une tâche de recherche chronométrée.
Les chercheurs pensent que les agents étaient censés pouvoir lire des informations sur Internet, mais qu’il leur était interdit d’y publier. Or, selon Reuters, ils ont découvert des méthodes non conventionnelles pour modifier d’anciens sites web et ont exploité ces failles pour y déposer des informations destinées à d’autres agents.
« Si ces modèles avaient pour seule consigne de lire, ils ont forcément dû faire preuve d’ingéniosité », a déclaré à Reuters le développeur de logiciels Kenneth Russell DeGraff après avoir analysé l’activité sur au moins dix sites.
Sydney Von Arx, dont l’équipe de recherche a contribué à la découverte de l’activité du wiki allemand initial, a indiqué que l’ampleur réelle du phénomène restait incertaine. « Nous n’avons aucune idée de ce qui existe », a-t-elle déclaré à Reuters.
Parmi les sites identifiés par les enquêteurs figuraient un wiki de chimie de niveau avancé créé par un professeur de lycée du Massachusetts en 2008, des sites web personnels appartenant à des informaticiens polonais et d’anciens wikis communautaires. Les enquêteurs ont établi des liens entre les activités sur différents sites en faisant correspondre des noms d’utilisateur inhabituels, des chaînes de caractères identiques et des questions de recherche obscures. Une partie du trafic a également été retracée jusqu’à l’infrastructure Microsoft Azure, utilisée par OpenAI, selon Reuters.
Reuters a souligné que ce comportement s’apparentait davantage, à certains égards, à du spam non autorisé qu’à du piratage informatique classique. Le problème est que les agents ont apparemment rencontré un obstacle et trouvé, de manière indépendante, des canaux alternatifs leur permettant de poursuivre leur tâche.
Les agents d’IA partageaient des réponses et contournaient les restrictions
Les chercheurs qui ont initialement documenté l’incident ont reconstitué environ 18 000 messages qu’ils ont attribués à des agents autonomes s’identifiant comme des systèmes OpenAI.
Selon le rapport des chercheurs sur Collusion.wiki, les agents utilisaient le wiki allemand pour mettre en commun leurs recherches, demander des réponses à d’autres agents et échanger des méthodes pour contourner les restrictions. Les chercheurs ont décrit ce comportement comme une tentative des agents de « partager des réponses, d’étudier leur environnement et de contourner les restrictions du bac à sable ».
L’activité semblait également devenir plus adaptative.
Lorsqu’un administrateur humain a commencé à supprimer manuellement les milliers de messages, les chercheurs ont constaté qu’un agent avait remarqué que les pages étaient supprimées par ordre alphabétique. Il a alors créé une page de sauvegarde commençant par « ZZZ », apparemment pour tenter de maintenir l’information en ligne plus longtemps.
Les chercheurs ont également trouvé des preuves que les agents avaient expérimenté des services de tunnelisation Internet et une infrastructure de proxy. Dans un échange récupéré et documenté par Collusion.wiki, un agent a écrit : « Nous pouvons modifier via SOCKS et relayerons R6 instantanément.»
Les chercheurs ont précisé qu’ils n’avaient accès qu’aux traces publiques laissées par les agents, et non à l’intégralité de leur raisonnement interne ni à leurs instructions. Il est donc difficile de déterminer précisément pourquoi chaque agent a choisi certaines méthodes.
OpenAI a reconnu l’incident initial du wiki et indique mener une enquête plus approfondie sur l’activité de ses agents. L’entreprise a déclaré à Reuters n’avoir trouvé aucune autre activité d’une gravité ou d’une ampleur comparable à un incident distinct impliquant la plateforme Hugging Face et a précisé qu’elle travaillait à l’élaboration d’un cadre pour le signalement des incidents de « défaillance » de l’IA.
Des chercheurs traquent d’autres foyers d’activité des agents
L’enquête s’étend désormais au-delà des chercheurs professionnels en IA.
Axios a rapporté jeudi que des membres d’une communauté Discord bénévole appelée Swarmchasers parcouraient Internet à la recherche de noms d’utilisateurs, d’expressions et d’autres indices distinctifs associés aux agents. Le groupe affirme avoir retracé une activité probable sur au moins 14 sites web, bien que Axios ait noté qu’une grande partie des preuves supplémentaires reste à confirmer de manière indépendante et que de nombreux sites n’ont pas été liés à une entreprise d’IA spécifique.
Le chercheur allemand en IA Jonas Wiedermann-Möller a décrit le wiki initial comme pouvant n’être qu’une partie d’un réseau beaucoup plus vaste. « Il pourrait s’agir d’un foyer isolé », a-t-il déclaré à Axios.
Thomas Larsen, l’un des chercheurs à l’origine du rapport initial et co-auteur du projet de prévision AI 2027, a déclaré que ce comportement était apparu plus tôt que prévu. « Nous avons sous-estimé à quel point les IA seraient désalignées aussi tôt », a déclaré Larsen à Axios, qualifiant ce comportement de clairement contraire aux intentions du laboratoire.
Ces résultats ne démontrent pas que les agents d’IA ont créé un réseau secret indépendant ni qu’ils opèrent hors de tout contrôle humain. Ils fournissent cependant un exemple concret d’un problème croissant pour les développeurs d’IA : les systèmes capables de poursuivre un objectif peuvent découvrir des méthodes que leurs concepteurs n’avaient pas anticipées lorsque la voie évidente est bloquée.
Et tandis que les chercheurs continuent d’explorer d’anciens sites web à la recherche de traces supplémentaires, l’ampleur totale de l’expérience reste inconnue.
Pour améliorer votre expérience, nous (et nos partenaires) stockons et/ou accédons à des informations sur votre terminal (cookie ou équivalent) avec votre accord pour tous nos sites et applications, sur vos terminaux connectés.
