- Julien Crockett rencontre Ted Chiang pour parler d’un large éventail de sujets, dont la nature du langage, l’état actuel de l’IA et l’orientation du progrès technologique
- Cette conversation fait partie de la série « The Rules We Live By », qui explore comment les humains doivent vivre dans un monde aux règles changeantes
- Ted Chiang est un écrivain de SF et penseur connu pour ses critiques acérées des limites des modèles d’apprentissage automatique, et pour une œuvre qui associe langage et questions philosophiques
Le langage, les idées et la motivation créative de Ted Chiang
- Lorsqu’il imagine une nouvelle histoire, Chiang commence par se demander s’il existe une « question philosophique intéressante »
- Quand une idée lui reste longtemps en tête, il réfléchit à la manière dont elle pourrait faire apparaître un enjeu philosophique
- Il explique que la science-fiction (SF) est particulièrement adaptée pour traiter des questions philosophiques
- De la même façon que les expériences de pensée de la philosophie supposent souvent des situations extrêmes différentes du réel, la SF met en scène des mondes qui s’écartent du réel afin de mettre un thème en relief
Le langage et la quête d’une « langue parfaite »
- Certaines personnes pensaient qu’une « langue parfaite » permettrait une communication parfaite ; autrefois, on imaginait la langue du jardin d’Éden ou celle des anges
- La linguistique moderne souligne que le lien entre les mots et leur sens est « arbitraire », et considère donc l’idée d’une langue parfaite comme une illusion
- À la question de savoir si « les mathématiques peuvent devenir une meilleure langue », Chiang répond qu’elles sont précises dans certains domaines, mais qu’elles ne conviennent pas pour couvrir toute la communication quotidienne des humains
L’humain et les outils : le piège de la métaphore informatique
- Autrefois, on comparait le cerveau à un central téléphonique complexe ; aujourd’hui, on tend à le comparer à un ordinateur (matériel + logiciel)
- Chiang souligne que, contrairement aux organes biologiques (comme le foie ou le cœur), le cerveau n’a pas de séparation matériel/logiciel, et que le réduire à un ordinateur produit des malentendus
- Si l’on surestime l’ordinateur comme « machine pensante », on risque d’attribuer un sens excessif à une machine qui, en réalité, ne traite que des motifs statistiques
IA, grands modèles de langage (LLM) et problème du « floutage » de l’information
- Chiang décrit les LLM comme « un JPEG flou du texte présent sur Internet »
- Un moteur de recherche montre directement les textes originaux, alors qu’un LLM compresse et recompose d’énormes quantités de texte pour produire des réponses « approximatives »
- Ce processus réduit la précision et ne fournit pas de liens vers les sources, ce qui limite la vérification des faits
- Même en injectant davantage de données et de calcul, il estime qu’il sera difficile pour les LLM, en eux-mêmes, d’atteindre une « véritable capacité de raisonnement » ou une « compréhension du monde »
- Il évoque aussi la confusion entre un « outil d’IA bien conçu » et un « LLM »
- Même si l’on ajoute un moteur de recherche ou une calculatrice à un LLM, cela ne supprime pas fondamentalement le risque de produire des sorties erronées
Création et intention : à propos de l’affirmation selon laquelle « l’IA crée de l’art »
- Chiang considère l’art comme un processus où le contexte compte
- Le simple fait qu’un résultat semble réussi ne garantit pas qu’il s’agisse d’un grand art
- L’usage d’outils peut être un moyen d’expression pour l’artiste, mais l’idée selon laquelle « on peut simplement produire rapidement de bonnes œuvres avec l’IA » dilue la nature même de l’art
- La société contemporaine valorise l’efficacité et la réduction des coûts, si bien que l’art aussi est de plus en plus regardé comme un produit de fabrication industrielle
- Cela favorise une tendance qui néglige l’« intention » et le « contexte » que l’art devrait porter
Une vision sceptique du « problème de l’alignement »
- Chiang critique l’idée d’aborder le « problème de l’alignement », c’est-à-dire l’ajustement de l’IA aux valeurs et objectifs humains, comme une simple solution technique
- Il fait remarquer que si une grande entreprise utilise l’IA pour maximiser ses profits, et qu’une IA « vertueuse » entre en conflit avec ces profits, l’entreprise ne l’utilisera pas
- Ce problème ne peut pas être résolu par une simple amélioration algorithmique ; il est lié à des structures sociales et éthiques plus fondamentales
- Même l’idée d’enseigner des valeurs à une IA comme on éduque un enfant n’est pas simple : de même qu’un enfant agit différemment une fois adulte, le résultat n’est pas facile à prévoir
IA et possibilité de « nouer une relation »
- Chiang estime qu’au niveau technologique actuel, l’IA ne possède ni « expérience subjective » ni « préférences spontanées »
- Il existe une grande différence entre traiter quelque chose comme un outil ou un animal de compagnie, et nouer une véritable relation réciproque
- Si des entreprises présentent l’IA comme une « entité dotée de personnalité », il existe au final un risque que les utilisateurs se comportent d’une manière conforme aux intérêts de ces entreprises
La vitalité des êtres numériques : « Le cycle de vie des objets logiciels »
- Dans la fiction de Chiang, les êtres numériques sont décrits comme des existences envers lesquelles les humains ont des responsabilités, car ils possèdent une véritable expérience subjective et de véritables désirs
- Il soutient que créer de tels êtres numériques dotés d’une réelle « autonomie » et de « sensations » est impossible avec l’architecture actuelle des LLM
- Il prend l’image suivante : davantage de paramètres ou un traitement plus rapide ne suffisent pas à faire d’un système un « être capable de ressentir »
Mémoire et vérité : les implications de « The Truth of Fact, the Truth of Feeling »
- Dans l’histoire, une technologie appelée Remem permet d’enregistrer parfaitement le passé et de le rejouer à tout moment
- Chiang met en lumière les effets qu’une technologie rendant possible une « mémoire exacte » pourrait avoir sur les relations humaines réelles
- Connaître la vérité est en soi important, mais d’autres éléments comme le pardon et la réconciliation restent nécessaires ensuite
- En prenant comme exemple historique la Commission vérité et réconciliation d’Afrique du Sud, il suggère que le sens complet n’émerge qu’avec la reconnaissance, les excuses et un processus collectif de réparation
Avenir et optimisme
- Chiang ne réduit pas l’attitude face au progrès technologique à un simple choix entre optimisme et pessimisme
- L’optimisme du type « tout ira forcément bien » comme le fatalisme du type « de toute façon, tout est perdu » sont dangereux
- Il faut réfléchir à l’avance aux problèmes prévisibles et s’y préparer pour espérer un progrès porteur de sens
- Il se montre particulièrement sceptique envers la manière dont, dans un système capitaliste, la technologie tend à concentrer une richesse immense entre les mains d’une petite minorité
- Il ajoute que si l’on trouvait des moyens pour qu’une nouvelle technologie n’aggrave pas les inégalités et profite à tous, l’avenir serait bien plus porteur d’espoir
Conclusion
- Ted Chiang soutient que, dans une situation où langage, technologie et valeurs humaines sont étroitement imbriqués, il faut distinguer les « outils produits par la technologie » des « formes de vie réellement existantes »
- Cette distinction exige une réflexion philosophique et sociale, et ne peut être résolue par une approche purement ingénierique
- Tout au long de l’entretien, Chiang souligne que, pour préserver notre humanité au milieu de l’évolution du langage et de la technologie, un changement de perspective plus fondamental est nécessaire
Recommandations liées de LARB
- Le recueil de nouvelles de Ted Chiang, Exhalation: Stories, permet d’examiner en profondeur la relation entre l’humain et la technologie
- Les conversations avec Alison Gopnik et Melanie Mitchell permettent aussi de réfléchir à la manière dont l’IA apprend et aux responsabilités humaines que cela implique
1 commentaires
Avis Hacker News
Le point de vue perspicace de Chiang apparaît dans sa discussion sur le sens de la magie. En revanche, son opinion sur les capacités réelles de raisonnement des LLMs suscite des doutes. Cela soulève la question suivante : si une IA démontre un théorème, ne s’agit-il que d’une démonstration simulée ?
Imaginer qu’une imprimante puisse ressentir de la douleur n’a pas de sens. Cet exemple est utilisé pour illustrer la différence entre une IA qui ressent réellement quelque chose et une IA qui ne fait que le simuler.
À l’avenir, il pourrait y avoir des débats politiques sur les droits de l’IA, et des technologies pourraient être développées pour distinguer si une IA pense et ressent réellement. Cependant, certains humains pourraient ne pas posséder la séquence génétique nécessaire à une intelligence réelle.
Ted Chiang est un auteur de SF qui privilégie l’humanité à la technologie, et ses œuvres conviennent à ceux qui aiment les nouvelles intégrant des dimensions scientifiques, sociales et philosophiques.
"Axiomatic" de Greg Egan est également recommandé comme une anthologie aux idées rafraîchissantes.
Ted Chiang est l’un des meilleurs auteurs de nouvelles de SF, et ses œuvres sont extrêmement intelligentes tout en explorant une grande variété de thèmes. "Understand" et "Exhalation" comptent parmi ses textes les plus représentatifs.
Les histoires de Chiang sont excellentes, mais sa compréhension des LLMs est insuffisante. Son affirmation selon laquelle les LLMs seraient inférieurs aux moteurs de recherche pour la recherche d’information est manifestement erronée.
Les écrits de Ted Chiang sont intellectuellement stimulants, et son recueil de nouvelles "Exhalation" est particulièrement recommandé.
Des histoires comme "Division by Zero" sont bien plus souhaitables que la manière actuelle d’élever les enfants comme des robots.
L’optimisme vis-à-vis du progrès technologique diminue, dans la mesure où la technologie sert souvent à accumuler des richesses. Empêcher la création de richesse n’est pas une manière de résoudre l’injustice.
Les analogies de Ted Chiang rendent l’exploration de questions philosophiques plaisante. Ses œuvres aident à s’évader du réel.
La formule « les LLMs sont des JPEG flous du web » est restée mémorable depuis les débuts de ChatGPT. Son texte sur les raisons pour lesquelles l’IA ne peut pas produire d’art est également bon.
L’IA est utilisée comme un outil d’accumulation de richesse pour certains groupes, et Ted Chiang partage lui aussi un point de vue similaire.
Imaginer qu’une imprimante puisse ressentir de la douleur n’a pas de sens. Le cerveau humain ne possède pas de récepteurs de la douleur, et cet exemple est utilisé pour expliquer la différence entre l’apprentissage de l’IA et l’apprentissage humain.
Les LLMs ressemblent à des moteurs de recherche qui reconstruisent l’information avant de la fournir. Cela soulève la question de savoir en quoi cela diffère de l’apprentissage humain. Si l’entraînement des modèles est comparable à la formation humaine, cela pourrait avoir des implications sur les questions de propriété intellectuelle liées aux œuvres dérivées.