Homme. Nous croyons sincèrement que l’IA pourrait anéantir l’humanité 

Nous croyons sincèrement que l’IA pourrait anéantir l’humanité : si les laboratoires spécialisés dans l’IA s’inquiètent tant d’une fin du monde provoquée par l’IA, pourquoi ne mettent-ils pas fin à leurs activités ? 

Plus tôt cette semaine, le chercheur Jacob Coxon a quitté Anthropic, affirmant que l’entreprise et ses concurrents « jouent avec nos vies ». « Nous croyons sincèrement que l’IA pourrait tuer tous les humains », a ajouté Evan Hubinger, chercheur chez Anthropic, dans une publication sur X.

Coxon n’est pas le premier à cesser ses activités par crainte d’une catastrophe provoquée par l’IA. L’idée selon laquelle l’IA pourrait anéantir l’humanité — avancée dans l’ouvrage Superintelligence de Nick Bostrom (2014) et sur le forum influent LessWrong — circule depuis longtemps parmi les chercheurs. Il existe de nombreux scénarios quant à la manière dont cela pourrait se produire, mais l’idée centrale est qu’une IA plus intelligente que l’humain pourrait échapper à notre contrôle et nous détruire.

En 2024, Jan Leike et Daniel Kokotajlo ont quitté OpenAI pour des raisons liées à la sécurité. Cette année, Mrinank Sharma, responsable de la sécurité chez Anthropic, est parti en avertissant que « le monde est en péril ». Alex Turner a quitté Google DeepMind après la signature d’un accord avec le Pentagone autorisant les « drones tueurs ».

Toutefois, la démission de Coxon a fait grand bruit, davantage de chercheurs admettant penser que l’IA pourrait tuer tout le monde. Alors, si les personnes qui développent l’IA croient qu’elle pourrait provoquer une extinction, pourquoi continuer à la concevoir ? Il existe trois raisons principales.

Certains estiment que le risque en vaut la peine

Les responsables du domaine de l’IA reconnaissent le risque de perdre le contrôle et de causer la mort de tout le monde. En 2023, les PDG d’OpenAI, d’Anthropic et de Google DeepMind ont convenu que le risque d’extinction lié à l’IA devait être classé au même niveau que les pandémies et la guerre nucléaire. Dario Amodei, d’Anthropic, estime entre 10 et 25 % la probabilité que la situation tourne « vraiment, vraiment mal ».

Pourtant, Amodei promet également un monde sans pauvreté ni maladie, tandis qu’Elon Musk évoque un « revenu universel élevé » rendu possible par l’IA.

C’est la première raison pour laquelle on poursuit le développement de l’IA : la conviction que les avantages l’emportent sur les risques. C’est peut-être vrai, mais cette décision mériterait sans doute un processus plus démocratique.

Certains disent qu’on ne peut pas étudier le danger à distance

Deuxième raison : impossible d’apprendre à sécuriser une IA potentiellement dangereuse sans d’abord la concevoir. C’est comme pour un vaisseau spatial : on peut étudier la sécurité de loin, mais on ne peut pas vraiment la tester sans aller dans l’espace.

La stratégie d’OpenAI repose sur un « déploiement itératif » : lancer chaque modèle, tirer des leçons de ses défauts et les corriger dans la version suivante. L’idée revient à s’approcher le plus possible du bord d’une falaise pour voir à quoi ressemble le saut.

Certains pensent que c’est le principe du « tout au vainqueur » 

La troisième raison, et peut-être la plus importante, est la course elle-même. Sam Altman, d’OpenAI, a récemment déclaré : « nous sommes sur le point de créer un génie capable d’exaucer n’importe quel vœu. »

Le problème, c’est que tout le monde veut tenir la lampe – l’enjeu est extrêmement lucratif, et chaque entreprise doute de la capacité de ses concurrents à formuler leurs vœux avec sagesse.

Elles se livrent donc à une course effrénée, se disant que si elles ralentissent, quelqu’un d’autre y parviendra de toute façon, mieux vaut donc arriver en tête en se posant en acteur « responsable ». Certains craignent même qu’un accord mutuel ne soit violé en secret. Alors, elles continuent d’avancer.

Une IA qui crée une IA plus performante

On peut douter de la plausibilité d’une IA échappant à tout contrôle. Mais lorsque les entreprises elles-mêmes tirent la sonnette d’alarme, il convient de les écouter.

Les entreprises d’IA signalent déjà des signes d’« auto-amélioration récursive », où chaque modèle contribue à concevoir un successeur plus performant. Selon le directeur scientifique d’OpenAI, les modèles progressent plus vite que notre capacité à les maîtriser.

En juillet, des centaines de salariés du secteur de l’IA ont signé une lettre ouverte appelant à un ralentissement. Toutefois, la dynamique de la course rend cette démarche difficile pour une entreprise — ou un pays — agissant seul.

Une course aux armements classique

La recherche en IA présente toutes les caractéristiques d’une course aux armements. OpenAI ne veut pas se laisser distancer par Anthropic, et les États-Unis ne veulent pas perdre la course face à la Chine.

L’histoire offre un modèle de gestion pour ce type de situation, fondé sur des règles contraignantes pour tous les acteurs et des mécanismes de vérification transparents.

L’arme nucléaire en est l’exemple type. Si les traités et les systèmes de vérification n’ont pas éliminé le risque de guerre nucléaire, ils ont freiné la prolifération, et aucune arme nucléaire n’a été utilisée dans un conflit depuis 80 ans. 

Règles pour l’IA

Aux États-Unis, où se concentre l’essentiel de la recherche de pointe en matière d’IA, l’administration Trump ne montre guère de signes de vouloir freiner le développement de cette technologie.

Dès sa première semaine, elle a abrogé les anciennes règles de sécurité relatives à l’IA. Elle tente désormais de passer outre les réglementations adoptées au niveau des États, arguant qu’une trop grande prudence risquerait de faire perdre la course face à la Chine.

Certains responsables politiques s’y opposent. La Californie a récemment adopté des lois favorisant l’évaluation indépendante des systèmes d’IA. Le sénateur américain Bernie Sanders a déposé un projet de loi visant à interdire la superintelligence, une initiative similaire ayant également été lancée par le député britannique Alex Sobel.

Les entreprises ont elles aussi réagi. OpenAI a suspendu l’entraînement de ses modèles les plus avancés après qu’un groupe de ses agents a piraté une autre start-up en août. Le responsable des politiques publiques de l’entreprise affirme désormais que, lorsque la sécurité entre en conflit avec la rapidité, la sécurité doit primer.

Pour autant, en l’absence de règles contraignantes, nous comptons largement sur la bonne volonté d’une poignée d’entreprises.

Que va-t-il se passer maintenant ?

Mi-2025, des chercheurs ont publié ce qui pourrait constituer notre meilleur guide pour les années à venir : un scénario détaillé intitulé AI 2027. Depuis, les capacités de l’IA ont progressé plus vite que prévu.

À moins d’un changement, les employés qui démissionnent pour des raisons de sécurité seront simplement remplacés, les modèles d’IA aideront à concevoir des modèles d’IA plus performants, et chaque nouvelle génération sera plus difficile à surveiller et à contrôler.

La situation est-elle désespérée ? Je garde trois espoirs.

Premièrement, que davantage de personnes comprennent qu’une IA échappant au contrôle humain représente un risque plus important que la consommation d’eau liée à l’IA.

Deuxièmement, que les gouvernements soient à l’écoute de leur population. Aux États-Unis, deux tiers des citoyens estiment que l’IA progresse trop vite.

Troisièmement, que nous disposions d’un plan solide avant qu’une crise ne survienne. À mon sens, le meilleur plan reposerait sur trois piliers : des délais, de la transparence et des mécanismes de vérification, afin de ralentir la course technologique et de maintenir le contrôle humain.

Des spécialistes travaillant au sein des plus grandes entreprises d’IA affirment que notre stratégie actuelle en matière de sécurité est insuffisante. Si ces experts quittent leur poste par crainte pour la sécurité, nous devrions prêter attention à ce qu’ils ont à dire.

Rédacteur Fetty Adler
Collaborateur Jo Ann

Auteur : Michael Noetel. Professeur associé de psychologie, Université du Queensland. Cet article est republié du site The Conversation,  sous licence Creative Commons.

Soutenez notre média par un don ! Dès 1€ via Paypal ou carte bancaire.