Le pape Léon XIV affirme que l’IA doit servir l’humanité, et non une minorité puissante

• Magnifica Humanitas présente l’IA comme une nouvelle révolution industrielle et met en garde contre l’aggravation des inégalités, l’affaiblissement de la démocratie et l’atteinte à l’humanité
• Le désarmement de l’IA ne concerne pas seulement le domaine militaire : il s’agit aussi de sortir des logiques de concurrence économique et cognitive afin d’empêcher la technologie de dominer l’être humain
• L’IA renforce déjà le pouvoir de ceux qui disposent de ressources, d’expertise et d’un accès aux données, permettant à une minorité d’influencer l’information, la consommation et les processus démocratiques
• Pour protéger la dignité humaine et le bien commun, les responsabilités doivent être clairement définies de la conception à l’usage, et l’éthique doit s’appliquer pendant la construction des systèmes, pas après les dommages
• L’IA militaire doit être soumise à des contraintes éthiques strictes, à une responsabilité humaine et au droit international ; le colonialisme des données et le remplacement du travail humain relèvent aussi de la justice sociale

---

Le cœur de la première encyclique : le « désarmement » de l’IA

• La première encyclique du pape Léon XIV, « Magnifica Humanitas », présente l’IA comme une nouvelle révolution industrielle et place au centre de son propos les risques d’aggravation des inégalités, d’affaiblissement de la démocratie et d’altération de l’humanité
• Le désarmement de l’IA ne se limite pas au domaine militaire : il désigne une orientation consistant à détacher l’IA des logiques de concurrence économique et cognitive afin que la technologie ne puisse pas dominer l’être humain
• L’objectif n’est pas de renoncer à la technologie, mais de faire de l’IA une technologie « désarmée, accueillante et accessible »
• Les entreprises de l’IA doivent être soumises à des régulations nationales et internationales plus strictes, et les individus comme les communautés doivent participer largement à la définition de l’avenir de l’IA
• Léon XIV se réfère à l’encyclique de 1891 de Léon XIII, « Rerum Novarum », qui répondait à la révolution industrielle du XIXe siècle, et inscrit ainsi les questions sociales de l’ère de l’IA dans le prolongement de la doctrine sociale catholique
• L’encyclique a été élaborée à l’issue d’une écoute de scientifiques et d’ingénieurs, de dirigeants politiques et de fonctionnaires, ainsi que de parents et d’enseignants, et appelle à une large participation sur la programmation, la régulation et les bénéfices de l’IA

Big Tech et concentration du pouvoir

• Léon XIV estime qu’un petit nombre d’individus fortunés peut peser sur l’avenir de l’humanité et sur les moyens de subsistance, tandis que l’écart risque de se creuser entre ceux qui participent à la révolution numérique et ceux qui restent en marge
• L’IA a déjà tendance à amplifier le pouvoir de ceux qui disposent de ressources économiques, d’expertise et d’un accès aux données
• Une minorité de groupes influents peut façonner l’information et les habitudes de consommation, influer sur les processus démocratiques et orienter les dynamiques économiques à son avantage
• La technologie n’est pas neutre et révèle les intérêts et les parties prenantes qui se trouvent derrière elle
• Lorsque le pouvoir se concentre entre les mains d’une minorité, il devient opaque et plus facile à soustraire au contrôle public, ce qui peut conduire à un développement déformé générant de nouvelles formes de dépendance, d’exclusion, de manipulation et d’inégalité
• Le cofondateur d’Anthropic, Chris Olah, affirme que le développement de l’IA évolue dans un système d’incitations et de contraintes où les intérêts commerciaux, les pressions géopolitiques, l’orgueil et l’ambition peuvent entrer en conflit avec le fait de « faire ce qui est juste »
• Pour Olah, les communautés religieuses, la société civile, les universitaires et les gouvernements doivent prendre l’IA au sérieux et la pousser dans une meilleure direction

Dignité humaine, jugement et travail

• Le principe central est que l’être humain prime sur l’IA ; la dignité humaine ne vient ni des capacités, ni de la richesse, ni de la position sociale, ni du fait de faire les bons choix, mais de l’existence même
• À l’ère des chatbots d’IA, le danger ne se limite pas au fait que les utilisateurs prennent des agents d’IA pour des personnes : cela peut aussi affaiblir le désir même de chercher d’autres êtres humains
• Confier la prise de décision aux machines peut accroître la dépendance excessive et la recherche de réponses immédiates, au détriment de la créativité et de la capacité de jugement des individus
• L’innovation en IA peut certes avoir des effets positifs sur les sociétés humaines et la protection de l’environnement, mais ses risques doivent être traités en parallèle
• Pour que l’IA respecte la dignité humaine et le bien commun, les responsabilités doivent être clairement définies à chaque étape, des concepteurs et développeurs jusqu’aux utilisateurs et à ceux dont les décisions dépendent réellement des systèmes
• Les principes moraux et éthiques doivent s’appliquer pendant la construction des systèmes, et non après que des dommages ont été causés à la société
• Exiger de la prudence, des évaluations rigoureuses et parfois un rythme plus lent dans le déploiement de l’IA n’est pas une opposition au progrès, mais une manière de prendre soin de la famille humaine de façon responsable
• Même des cadres de type constitution éthique comme ceux d’Anthropic ne suffisent pas si la moralité est définie par une minorité ; ils doivent être discutés à l’aune de critères partagés de justice sociale
• La vérité est un élément indispensable de la démocratie, et l’éducation à l’IA est particulièrement nécessaire pour les jeunes
• Contrairement à la promesse selon laquelle l’IA allégerait la charge de travail, on voit souvent les travailleurs contraints de s’adapter au rythme et aux exigences des machines
• Dans la quatrième révolution industrielle, la priorité doit être la protection des possibilités d’emploi et du rôle irremplaçable de chaque personne

Transhumanisme, inégalités et colonialisme des données

• Le transhumanisme et le posthumanisme sont liés à l’idée que dépasser la condition humaine constitue un progrès
• À rebours d’une vision qui ne voit dans la maladie, le handicap, la vieillesse et la vulnérabilité que des limites à surmonter, l’être humain s’épanouit non pas malgré ses limites, mais souvent à travers elles
• Víctor Manuel Fernández explique que, contrairement à l’idée selon laquelle l’humain atteindrait une date de péremption et devrait être remplacé, l’enseignement catholique affirme la dignité infinie de toute personne humaine
• Dans un contexte d’aggravation des écarts économiques mondiaux, le progrès technologique peut produire des inégalités structurelles
• La fiscalité doit alléger la charge pesant sur les plus vulnérables et exiger davantage de responsabilités de ceux qui disposent de plus de ressources ; les bénéfices de l’innovation doivent être partagés de manière transparente avec l’ensemble de la communauté
• Derrière l’IA peuvent se cacher des traces d’exploitation humaine et environnementale, depuis les modèles entraînés sur des contenus protégés par le droit d’auteur jusqu’à l’extraction de minéraux rares utilisés dans le matériel IA
• Le colonialisme des données est présenté comme un nouveau visage du colonialisme, capable de s’approprier aussi bien les trajectoires de santé, les profils épidémiologiques, les cartes génétiques que les données démographiques
• Ces données sont devenues de « nouvelles terres rares du pouvoir », et une technologie d’IA détenue par quelques individus ou groupes guidés par le profit peut constituer une nouvelle forme de domination coloniale
• Pour que le savoir partagé devienne un bien commun plutôt qu’un instrument de domination, il faut rendre aux individus la capacité de décider quelles données les décrivent, comment elles sont utilisées, par qui et au bénéfice de qui

Guerre, justice sociale et bien commun

• Les usages militaires de l’IA doivent être soumis aux contraintes éthiques les plus strictes
• La responsabilité des actions militaires, en particulier létales, doit rester humaine et non être transférée aux machines
• Le droit international est nécessaire pour traiter de la traçabilité des processus de décision en temps de guerre, de la supervision humaine et de l’augmentation de l’usage des armes automatisées ainsi que de leurs conséquences
• Les principes moraux qui placent la dignité humaine et le bien commun au centre de la vie sociale, économique et politique doivent aussi s’appliquer à l’ère de l’IA
• La solidarité et le soin apporté au « prochain » constituent des axes essentiels, avec une insistance particulière sur la responsabilité envers les générations futures
• La justice sociale ne concerne pas seulement une répartition plus équitable des ressources ou la correction des injustices présentes, mais comprend aussi une dimension réparatrice
• Même dans l’espace numérique, il faut se méfier de la surveillance intrusive, des communautés exclues de l’accès aux technologies de base et des dommages causés par des algorithmes opaques qui perpétuent les discriminations
• La migration est présentée comme un test décisif de la justice sociale aujourd’hui
• Babel symbolise le pouvoir et la quête d’auto-accomplissement, tandis que la reconstruction de Jérusalem dans Néhémie vise la prière et la participation des familles et de la communauté
• Le message se prolonge par l’idée qu’à l’ère de l’IA aussi, la construction de Babel comme la reconstruction de Jérusalem commencent à l’intérieur de chacun

[GN⁺]

Commentaires Hacker News

• C’est quasiment un doublon. https://news.ycombinator.com/item?id=48265206

• L’époque a changé sur plusieurs plans. Par exemple : 1) il y a maintenant l’IA, et 2) le pape est américain, et plus digne de confiance que les plus hauts responsables politiques en exercice des deux partis.
  Ce n’est pas tant que les gens regrettent l’époque de la papauté ; c’est plutôt qu’ils cherchent n’importe qui doté de bon sens.

• Il y a 15 ans, c’était le pape Benoît, et c’était un personnage assez différent. Personnellement, j’aurais probablement été plus cynique à son égard qu’envers François ou Léon.

• Pour filer la métaphore religieuse, à l’époque, les utilisateurs de HN auraient sans doute été plus choqués d’apprendre que Chrome n’était plus traité comme la seconde venue de Jésus.