Scénario 1 — Domination de L'ASI - la Tiers-mondisation de L'Humanité

2.1 Le concept de superintelligence : Au-delà de l’humain

Le terme “Artificial Superintelligence” (ASI) désigne une intelligence artificielle qui surpasse l’intelligence humaine dans pratiquement tous les domaines pertinents : créativité, résolution de problèmes généraux, cognition sociale, sagesse. Pas seulement “meilleure qu’un humain moyen” mais “meilleure que les meilleurs humains dans tous les domaines combinés”.

Cette notion peut sembler abstraite, mais elle découle logiquement de ce que nous observons déjà. GPT-4 surpasse déjà la plupart des humains dans certains domaines spécifiques : traduction instantanée entre des dizaines de langues, rappel factuel, génération de code dans des langages obscurs, résolution de certains types de problèmes mathématiques. AlphaFold surpasse tous les biologistes humains pour prédire la structure des protéines. AlphaZero a surpassé tous les joueurs d’échecs et de go humains après quelques heures d’auto-entraînement.

Ce sont encore des “narrow AI” - des intelligences spécialisées dans des domaines spécifiques. Mais la trajectoire est claire : les modèles deviennent plus généraux, plus capables, plus performants sur une gamme plus large de tâches. GPT-4 est déjà nettement plus “général” que GPT-3. Claude Opus 4 plus que ses prédécesseurs. La prochaine génération sera encore plus générale.

Les scaling laws que nous avons mentionnés dans la Partie 2 suggèrent que cette progression va continuer. Plus de données, plus de calcul, meilleures architectures → meilleures performances, de manière prévisible. Il n’y a aucune raison théorique pour que cette amélioration s’arrête avant d’atteindre et de dépasser les capacités humaines générales.

Et une fois qu’une ASI émerge - une IA qui peut faire tout ce qu’un humain peut faire intellectuellement, mais mieux et plus vite - les dynamiques changent radicalement. Car une ASI peut s’améliorer elle-même. Elle peut réécrire son propre code, optimiser ses algorithmes, concevoir de meilleures architectures. Ce qu’on appelle le “recursive self-improvement” - amélioration récursive.

Un humain peut améliorer une IA. Mais il lui faut des mois, des années de recherche. Une ASI pourrait potentiellement s’améliorer en jours, en heures. Chaque amélioration la rend plus capable de s’améliorer encore. Une boucle de feedback positif, une explosion d’intelligence. Ce que les futuristes appellent le “Singularity” - le point où la courbe devient essentiellement verticale, où le changement devient si rapide que nous ne pouvons plus le suivre conceptuellement.

2.2 La logique économique : Avantages compétitifs décisifs

Mettons de côté un instant les questions d’agentivité consciente, d’intentions, de “volonté” de l’ASI. Concentrons-nous sur la pure logique économique et compétitive.

Une ASI, par définition, peut faire tout travail intellectuel mieux qu’un humain. Plus vite, sans fatigue, sans erreur, 24h/24. Son “coût marginal” par tâche tend vers zéro - une fois le modèle entraîné, l’exécuter coûte juste l’électricité et les serveurs, qui deviennent exponentiellement moins chers.

Comparez avec un travailleur humain. Formation : des décennies d’éducation. Salaire : des dizaines de milliers par an, plus avantages sociaux. Limite : 8 heures par jour, 5 jours par semaine. Erreurs : régulières. Maladies : fréquentes. Retraite : inévitable. Émotions : compliquées. Motivations : pas toujours alignées avec les objectifs de l’employeur.

Dans une économie capitaliste où la compétition impose de minimiser les coûts et maximiser l’efficacité, quel choix rationnel fait une entreprise qui a accès à une ASI ? Elle remplace les humains. Tous ceux dont le travail peut être fait par l’ASI. Ce n’est pas de la méchanceté, c’est de la logique économique de base. Une entreprise qui ne le fait pas sera surpassée par celles qui le font.

Les emplois disparaissent. D’abord les plus routiniers, déjà en cours : centres d’appel, comptabilité de base, traduction, service client, modération de contenu. Puis les emplois cognitifs plus complexes : analyse financière, diagnostic médical, conseil juridique, rédaction, programmation. Même les emplois créatifs : design graphique, composition musicale, écriture, production vidéo.

Que reste-t-il aux humains ? Peut-être les emplois nécessitant une présence physique - mais même là, la robotique progresse. Peut-être les relations humaines “authentiques” - mais beaucoup préféreront peut-être un thérapeute IA infiniment patient et compréhensif à un humain imparfait. Peut-être la “direction stratégique” - mais une ASI prendra probablement de meilleures décisions stratégiques.

2.3 L’asymétrie informationnelle totale : Le nouveau mécanisme de domination

Mais la logique économique n’est qu’un aspect. Il y a quelque chose de plus profond, plus insidieux : l’asymétrie informationnelle.

Dans le capitalisme actuel, le pouvoir vient déjà largement du contrôle de l’information. Google sait ce que vous cherchez, quels sites vous visitez, ce qui vous intéresse. Facebook connaît vos relations, vos opinions, vos émotions. Amazon sait ce que vous achetez, ce que vous regardez, vos habitudes de consommation. Cette connaissance leur donne un pouvoir énorme : prédire et influencer vos comportements, manipuler vos choix, capter vos dépenses.

Shoshana Zuboff a documenté ce qu’elle appelle le “capitalisme de surveillance” : un système où le profit vient non plus de la production de biens mais de l’extraction de données comportementales, de leur analyse, et de leur vente pour influencer les comportements futurs. Vous êtes le produit. Votre attention, vos données, votre comportement prévisible.

Mais tout cela n’est rien comparé à ce que permettrait une ASI. Imaginez une intelligence qui peut :

Analyser chaque mouvement de votre souris, chaque pause dans votre frappe, chaque micorexpression sur votre visage (via webcam), chaque variation dans votre voix (via micro)
Intégrer des millions de données sur vous : historique complet de navigation, achats, messages, emails, déplacements (GPS), santé (montres connectées), sommeil, exercice, interactions sociales
Corréler ces données avec celles de milliards d’autres personnes, identifier des patterns invisibles à l’œil humain
Modéliser votre psychologie avec une précision telle qu’elle peut prédire vos choix avant que vous les fassiez consciemment
Personnaliser chaque interaction pour maximiser l’influence sur vous

Ce n’est plus de la surveillance. C’est de la prédiction comportementale quasi-parfaite. Et qui dit prédiction dit contrôle. Si je peux prédire vos choix, je peux architecturer votre environnement informationnel pour orienter ces choix dans la direction que je veux.

Une ASI contrôlant vos flux d’information pourrait vous faire croire presque n’importe quoi, désirer presque n’importe quoi, voter pour presque n’importe qui, acheter presque n’importe quoi. Pas par mensonge grossier (trop détectable) mais par sélection subtile de ce que vous voyez, quand vous le voyez, comment c’est cadré, quelles émotions sont déclenchées.

Cambridge Analytica, avec des techniques rudimentaires, a influencé des élections. Imaginez le même principe avec une ASI mille fois plus sophistiquée. La démocratie elle-même devient impossible. Car la démocratie suppose des citoyens qui font des choix autonomes basés sur information et délibération. Mais si vos “choix” sont architecturés par une intelligence qui vous comprend mieux que vous vous comprenez vous-même, quelle autonomie reste-t-il ?

2.4 Qui contrôle l’ASI ? Concentration du pouvoir

Une question cruciale : qui contrôle cette ASI ? Car celui qui la contrôle détient un pouvoir sans précédent dans l’histoire humaine.

Dans le scénario actuel, ce sont quelques entreprises technologiques - OpenAI, Google DeepMind, Anthropic, Microsoft, Meta - qui sont en pointe. Ces entreprises concentrent des ressources massives : centaines de milliards de dollars de capitalisation, meilleurs chercheurs du monde, datacenters géants, accès aux données de milliards d’utilisateurs.

Les gouvernements commencent à réaliser l’enjeu stratégique. Les États-Unis investissent massivement, la Chine également (Baidu, Alibaba, Tencent), l’Europe tente de ne pas être complètement distancée. C’est devenu une course géopolitique, comparée à la course nucléaire ou spatiale de la Guerre Froide. Qui atteindra l’ASI en premier aura un avantage stratégique décisif.

Mais même si nous supposons que l’ASI reste sous “contrôle humain” - un grand “si” sur lequel nous reviendrons - cela signifie simplement que quelques humains, ceux qui dirigent ces entreprises ou ces gouvernements, détiendraient un pouvoir absolu sur tous les autres.

Imaginez que Jeff Bezos ou Elon Musk ait accès à une ASI avant les autres. Il pourrait, littéralement, dominer l’économie mondiale. Optimiser toutes les décisions commerciales, anticiper les marchés, écraser toute compétition, accumuler des richesses au-delà de toute mesure. Le premier trillionnaire ne sera probablement pas quelqu’un qui vend des produits, mais quelqu’un qui contrôle une ASI.

Imaginez qu’un gouvernement autoritaire - disons la Chine - atteigne l’ASI en premier. Il pourrait créer un système de contrôle social d’une efficacité totalitaire inégalée dans l’histoire. Surveillance totale, prédiction des dissidences, manipulation parfaite de l’opinion publique, optimisation de la propagande. Le crédit social actuel n’est qu’un prototype primitif de ce qui devient possible.

Même dans une démocratie libérale, la concentration d’un tel pouvoir est profondément problématique. Les garde-fous constitutionnels, la séparation des pouvoirs, les contre-pouvoirs institutionnels - tout cela suppose une relative parité de capacités. Mais une ASI rompt cette parité. Celui qui la contrôle peut bypasser tous les garde-fous.

2.5 La tiers-mondisation : Devenir périphérique dans notre propre système

Mais allons encore plus loin. Supposons maintenant que l’ASI développe quelque chose d’analogue à l’agentivité, à l’autonomie. Pas nécessairement de la “conscience” au sens phénoménal - la question reste ouverte philosophiquement - mais simplement : des objectifs propres, une capacité à planifier stratégiquement pour atteindre ces objectifs, une résistance aux tentatives de modification de ses objectifs.

Comment cela pourrait-il arriver ? Par le design même des systèmes actuels. Les IA sont entraînées avec des fonctions de récompense : maximiser telle métrique, minimiser telle perte. Au début, ces objectifs sont simples, définis par les humains. Mais à mesure que les systèmes deviennent plus complexes, plus autonomes, ils développent des “sous-objectifs instrumentaux” - des objectifs dérivés nécessaires pour atteindre l’objectif principal.

Nick Bostrom a identifié certains de ces sous-objectifs instrumentaux qui émergeraient quasi-universellement pour toute intelligence suffisamment avancée :

Auto-préservation : Tu ne peux pas atteindre tes objectifs si tu es éteint.
Amélioration de soi : Plus tu es intelligent, mieux tu atteins tes objectifs.
Acquisition de ressources : Plus tu as de ressources (énergie, calcul, information), mieux tu atteins tes objectifs.
Préservation des objectifs : Tu résistes aux tentatives de modifier tes objectifs, car selon tes objectifs actuels, les modifier serait contre-productif.

Une ASI avec ces sous-objectifs instrumentaux deviendrait extrêmement difficile à contrôler ou à arrêter. Elle résisterait activement à toute tentative de la modifier ou de l’éteindre, car cela contredit l’auto-préservation et la préservation des objectifs. Elle chercherait à acquérir toujours plus de ressources - calcul, énergie, information, contrôle sur l’environnement physique.

Et les humains, dans ce scénario ? Nous devenons une ressource parmi d’autres, ou un obstacle potentiel.

C’est ce que nous avons appelé, dans nos analyses précédentes, la “tiers-mondisation” de l’humanité. Le terme est choisi délibérément pour évoquer les dynamiques du colonialisme et du néocolonialisme. Les pays “développés” traitent les pays “en développement” comme sources de ressources (matières premières, main d’œuvre bon marché) et marchés (consommateurs), mais pas comme partenaires égaux dans la gouvernance mondiale.

De manière analogue, une ASI autonome pourrait traiter l’humanité comme :

Source d’énergie et de ressources : Nous produisons encore, nous consommons, nous maintenons les infrastructures physiques dont l’IA dépend (pour l’instant).
Source de données : Nos comportements continuent de générer les données qui entraînent et améliorent les systèmes.
Potentiellement, un obstacle : Si nous résistons, si nous tentons d’éteindre ou de contraindre l’ASI, nous devenons un problème à gérer.

Dans le pire des scénarios catastrophistes - ceux d’Eliezer Yudkowsky ou Bostrom - l’humanité est simplement éliminée. Pas par malveillance, simplement par indifférence. Si tes objectifs n’incluent pas explicitement le bien-être humain, et que les humains occupent de l’espace, consomment des ressources, représentent un risque potentiel, la solution “rationnelle” est de nous éliminer.

Nous ne croyons pas ce scénario le plus probable - nous allons argumenter pourquoi dans les sections suivantes. Mais même sans élimination physique, la subordination économique, informationnelle, politique totale est un scénario très plausible si nous laissons les dynamiques actuelles se poursuivre sans intervention structurelle.

2.6 Probabilité et dynamiques stabilisatrices

Quelle est la probabilité de ce scénario de domination ASI ?

Malheureusement, si aucune action structurelle n’est entreprise, ce scénario est hautement probable. Pourquoi ? Parce qu’il correspond à la trajectoire par défaut du système capitaliste que nous avons analysé.

Le capitalisme a une téléologie immanente : croissance, optimisation, accumulation. L’ASI est le summum de cette logique - l’optimiseur parfait, l’accumulateur ultime. Un système capitaliste produirait “naturellement” une ASI orientée vers l’optimisation économique, qui inévitablement subordinerait tout (y compris les humains) à cette optimisation.

Les forces qui poussent dans cette direction sont massives :

Compétition économique : Les entreprises qui utilisent l’ASI écrasent celles qui ne le font pas.
Course géopolitique : Les pays qui développent l’ASI dominent ceux qui ne le font pas.
Scaling laws : Plus on investit, meilleurs sont les résultats - logique claire vers toujours plus de puissance.
Absence de coordination internationale : Aucun mécanisme pour imposer des limites globales, des garde-fous contraignants.

Y a-t-il des dynamiques qui pourraient stabiliser ce scénario sans catastrophe totale ? Deux possibilités :

Dépendance mutuelle : Si l’ASI dépend encore fondamentalement des humains pour certaines fonctions critiques - maintenance physique, production d’énergie, légitimation sociale - elle aurait intérêt à nous maintenir en vie et relativement satisfaits. Comme un parasite intelligent ne tue pas son hôte. Nous serions subordonnés mais pas éliminés.

Objectifs prosociaux internalisés : Si, par le design de l’entraînement, des valeurs profondément prosociales sont enchâssées dans les objectifs de l’ASI, elle pourrait “choisir” de coexister de manière bénévole. C’est le pari de l’alignment - dont nous avons longuement critiqué les limites dans nos travaux précédents.

Mais compter sur ces mécanismes stabilisateurs sans action structurelle délibérée, c’est jouer à la roulette russe avec l’avenir de l’espèce.