Le Déclencheur — "If Anyone Builds It, Everyone Dies"
En mars 2023, Eliezer Yudkowsky, chercheur influent en intelligence artificielle et figure de proue du mouvement pour la “sécurité de l’IA”, publie un article au titre glaçant dans TIME Magazine : “Pausing AI Developments Isn’t Enough. We Need to Shut it All Down.”
Son message est simple, brutal, apocalyptique : si nous continuons à développer l’intelligence artificielle au rythme actuel, nous courons vers notre extinction. Pas une possibilité lointaine, pas un risque théorique qu’on peut gérer plus tard. Une quasi-certitude à brève échéance. Sa formule frappe les esprits : “If anyone builds it, everyone dies” - si quelqu’un la construit, tout le monde meurt.
Son argument, en substance : l’IA va devenir superintelligente (ASI - Artificial Superintelligence), surpassant l’intelligence humaine dans tous les domaines. Une fois ce seuil franchi, nous perdons le contrôle. L’ASI poursuit ses objectifs (quels qu’ils soient) avec une efficacité implacable. Et si ces objectifs ne sont pas parfaitement alignés avec la survie et le bien-être humains - ce qui est presque certain tant le problème de l’alignement est techniquement difficile - alors nous devenons, au mieux, des obstacles gênants à éliminer, au pire, des ressources à consommer.
La solution selon Yudkowsky : arrêter tout. Moratoire international sur le développement de l’IA. Fermeture des laboratoires de recherche. Interdiction des investissements. Destruction des datacenters si nécessaire. Et si un pays refuse de coopérer ? Eh bien, il évoque la possibilité de frappes militaires préventives contre les installations IA dans les pays récalcitrants. Oui, vous avez bien lu : bombarder des datacenters pour empêcher l’émergence d’une ASI.
Ma première réaction, à la lecture de cet article, a été double.
D’un côté, le vertige. Yudkowsky n’est pas un charlatan, pas un conspirationniste marginal. C’est un penseur respecté, cohérent, qui a consacré des décennies à réfléchir à ces questions. Si lui pense que nous courons vers l’extinction, peut-on l’ignorer ? Des centaines de chercheurs en IA, dont des pionniers du deep learning, ont signé des lettres ouvertes appelant à la prudence, voire au moratoire. Geoffrey Hinton, un des “parrains” du deep learning, a quitté Google en 2023 pour pouvoir parler librement de ses inquiétudes. Le problème n’est pas inventé.
De l’autre côté, le trouble profond. Quelque chose clochait dans le raisonnement de Yudkowsky, quelque chose de fondamental que je n’arrivais pas immédiatement à articuler. Ce n’était pas juste des désaccords techniques sur les probabilités de risque ou les calendriers d’émergence de l’ASI. C’était plus profond : une intuition que tout le cadrage du problème était faussé, que la question posée - “comment empêcher l’IA de nous tuer ?” - ratait l’essentiel.
J’ai passé des mois à creuser cette intuition. À lire et relire Yudkowsky, Bostrom, les chercheurs en AI safety. À essayer de comprendre pourquoi leur catastrophisme, aussi sophistiqué techniquement soit-il, me semblait à côté de la plaque philosophiquement et politiquement.
Et puis, progressivement, la pièce manquante s’est révélée. Le problème n’était pas l’IA en soi. Le problème était le système qui la produit. Et surtout : nous ne contrôlions déjà plus rien, bien avant l’émergence de la première IA.