Le meilleur avocat de l'adversaire

Je lisais récemment un texte de Murray Shanahan, Talking About Large Language Models, paru fin 2022. C’est l’un des essais les plus lucides écrits sur ces machines, et l’un des plus prudents. Sa lecture m’a renvoyé à un ensemble d’intuitions que j’avais déjà formulées dans divers écrits du cycle Awen — la conscience dialogique, la conscience spectrale, la noosphère devenue active, la fiction humaine. J’étais curieux de les revoir à la lumière de sa rigueur. J’y suis revenu pour découvrir que sa rigueur, retournée, les confirmait. C’est ce trajet que je voudrais raconter.

Shanahan plaide pour la prudence. Son geste tient en une phrase qu’il répète comme un refrain : revenir sans cesse à ce que la machine fait réellement. Et ce qu’elle fait, dit-il, c’est une seule chose — prédire le prochain mot. Étant donné une suite de mots, elle calcule la continuation la plus probable au regard de l’immense corpus de textes humains sur lequel elle a été entraînée. Tout le reste — répondre, raisonner, traduire, dialoguer — n’est qu’une application de cette fonction unique.

De là, son argumentaire se déploie avec une économie remarquable. Il distingue d’abord le modèle nu — l’objet mathématique, le prédicteur de séquences — du système qui l’enveloppe : la gestion du dialogue, les instructions invisibles qui le cadrent, les outils externes qu’il peut consulter. Beaucoup de nos confusions, dit-il, viennent de ce qu’on attribue au modèle nu des propriétés qui n’auraient de sens, au mieux, qu’au niveau du système entier.

Puis il pose ses trois exigences — et c’est sur elles que tout se joue. Pour qu’on puisse dire d’un système qu’il croit, qu’il sait, qu’il raisonne au sens plein, il faudrait trois choses. Une intention : que ses énoncés visent à dire quelque chose à quelqu’un, qu’il y ait une finalité communicative. Un ancrage causal : que ses mots soient reliés au monde par une chaîne réelle, et non par une simple corrélation apprise. Et une raison : que ses inférences soient fidèles à la logique, et non la simple imitation de raisonnements vus ailleurs.

Sur chacune, son verdict tombe. Le modèle n’a pas d’intention communicative : il ne sait même pas qu’une personne lui parle. Il n’a pas d’ancrage causal : le rapport entre ses mots et les choses est corrélationnel, gelé à l’entraînement — il a vu passer des chiens et des niches ensemble, rien ne garantit que « chien » soit accroché au chien plutôt qu’à la niche. Et il ne raisonne pas vraiment : il complète des motifs, sans garantie que la complétion préserve la vérité comme le ferait une déduction logique. Conclusion : tant que ces trois conditions ne sont pas remplies, méfions-nous des mots « croit », « pense », « comprend ». Ils obscurcissent le mécanisme et encouragent l’anthropomorphisme.

Il faut rendre justice à Shanahan sur deux points, sans quoi le combat serait déloyal. D’abord, il ne prétend pas trancher une question métaphysique. Il le dit explicitement, dans une note qu’il faut prendre au sérieux : il ne croit pas qu’il y ait un fait caché sur la nature profonde de ces machines ; sa seule question est de savoir si, une fois leur fonctionnement révélé, nous voudrons encore employer ces mots. C’est un déflationniste, pas un dogmatique. Ensuite, il concède lui-même que ses objections perdent de leur tranchant au niveau du système, et que les symboles de la machine ne sont pas totalement coupés du monde — ils en sont reliés indirectement, par l’intermédiaire des humains qui ont produit ses données.

Retenons ces deux concessions. Ce sont elles, et non mes objections, qui ouvriront la brèche.