Où vont les modèles d’IA NLP à très grande échelle ?

Situation actuelle

• LaMDA, présenté par Google I/O, GPT-3 dont MS a acheté une licence exclusive, ou encore le LLM (Large Language Model) développé en interne par Facebook pour la traduction et la modération de contenus : les grands groupes développent chacun leurs propres modèles NLP à très grande échelle.

• Alors que ces modèles, développés de manière fermée par chacun, commencent à être utilisés dans la vie réelle, il n’existe pratiquement aucune recherche sur l’impact concret des défauts des LLM sur les personnes, sur les problèmes qu’ils posent, ni sur la manière de les résoudre.

• En décembre dernier, Google a licencié Timnit Gebru, co-responsable de l’équipe Ethical AI, ce qui a encore aggravé la situation.

Nouvelles tentatives

• Plus de 500 chercheurs du monde entier se sont réunis autour du projet BigScience, mené par Huggingface, pour accélérer la construction d’un LLM open source.

• Un groupe de travail chargé d’évaluer l’impact environnemental des LLM, y compris l’empreinte carbone liée à l’entraînement et à l’exploitation des modèles, en tenant compte du coût total du cycle de vie du supercalculateur.

• Un groupe de travail qui réfléchit à la meilleure manière d’obtenir des données d’entraînement de façon responsable.

---

J’ai eu du mal à résumer ce sujet, donc mon résumé n’est pas très bon.

De la même manière que l’agenda du « revenu universel » est apparu à partir des inquiétudes et des espoirs suscités par la technologie, les attentes et les préoccupations liées à GPT-3 l’an dernier semblent faire émerger au grand jour l’enjeu des « préoccupations autour du développement fermé de l’IA ». J’aimerais relire cet article vers 2050.