- Après que ChatGPT a réuni 100 millions d’utilisateurs en 2 mois, les arguments commerciaux du type « AI for X » ont de fortes chances de se multiplier, et il devient difficile de distinguer la réalité technique de l’exagération
- La victoire d’AlphaGo en 2016 et l’article sur les Transformers de 2017 sont des avancées importantes, mais l’engouement actuel pour l’IA ne garantit pas la réalité technique de tous les produits
- Sur le terrain commercial, certains emploient mal les noms d’algorithmes ou présentent des instructions if-then comme de l’IA ; il y a même eu des cas où des tâches effectuées par des humains étaient vendues comme du NLP
- Face à un fournisseur, il faut vérifier directement la catégorie de machine learning, l’algorithme, la sortie prédite, la fonction objectif, les métriques de performance, la fréquence de modification du modèle et le taux d’intervention humaine
- Si l’interface utilisateur n’est qu’un mince wrapper autour de l’API GPT, elle peut surtout ajouter des coûts sans apporter beaucoup d’avantages ; le mode de fonctionnement et les critères de validation comptent donc davantage que l’étiquette IA
Le contexte de la multiplication des arguments commerciaux « AI for X »
- L’IA générative montre déjà de fortes capacités dans les réponses aux questions, l’apprentissage, la génération d’images et de vidéos, et elle s’améliore rapidement
- La victoire d’AlphaGo au go en 2016 était impressionnante, mais elle relevait d’une application de l’intelligence machine à un problème limité
- En 2017, l’article sur les Transformers a été publié
- En 2023, ChatGPT a atteint 100 millions d’utilisateurs en 2 mois
- Avec les progrès technologiques, le battage marketing prend aussi de l’ampleur, et la vague GPT pourrait faire apparaître encore plus d’arguments de vente « AI for X »
- Autour de l’introduction en Bourse d’Uber, les pitchs de startups « Uber for X » ont déferlé ; certains ont réussi, mais un plus grand nombre ont échoué
- Après le ralentissement des cryptomonnaies, on a aussi vu des « experts crypto » se transformer rapidement en « experts IA »
- Le simple nom d’IA ne garantit pas la réalité technique
- Il y a eu des pitchs d’expertise IA où le nom de l’algorithme était mal écrit
- Certains produits « AI driven » fonctionnaient en réalité avec des instructions if-then
- Des solutions vendues comme décomposant et recomposant documents et connaissances avec du NLP étaient en fait traitées au clavier par des personnes dans des bureaux d’Asie du Sud-Est
- Connaître le nom n’est pas connaître le sujet, et vendre un nom ne revient pas toujours à vendre une véritable technologie
Questions pour évaluer la fiabilité d’un fournisseur
- Il faut demander quelle grande catégorie de machine learning le produit utilise
- Par exemple : apprentissage supervisé, apprentissage non supervisé, architecture de réseau neuronal spécifique, etc.
- Il faut vérifier le nom de l’algorithme derrière l’IA
- Par exemple : XGBoost, BERT, etc.
- Il faut vérifier ce que le modèle prédit
- Il faut demander si la sortie prédite réelle est 1/0, yes/no ou un nombre
- Il faut vérifier la fonction objectif que le modèle optimise
- Aussi appelée fonction de perte ou fonction de coût, c’est une question visant à comprendre quelle erreur le modèle cherche à réduire
- Il faut vérifier avec quelles métriques l’utilité du modèle est mesurée
- Cela se rattache aux critères permettant de juger dans quelle mesure il généralise à des données inédites
- Il faut demander à quelle fréquence le modèle est modifié, et pourquoi
- Il faut vérifier dans quelle mesure des humains interviennent dans la « solution IA »
- Il faut vérifier si la GUI destinée aux utilisateurs n’est qu’un mince wrapper autour de l’API GPT
- Ce type de solution peut relever de « GPT as a service », le service ajoutant alors seulement des coûts sans bénéfice supplémentaire
Ne pas se laisser submerger par le vocabulaire
- Le machine learning est puissant, mais à côté de bons produits d’IA peuvent aussi apparaître des produits de faible qualité, voire des produits d’IA qui sont des loups déguisés en agneaux
- Même les grands termes du domaine de l’IA peuvent être décomposés en explications intuitives ; il n’est donc pas nécessaire d’être intimidé ou désorienté par un discours qui sonne technique
- Les personnes qui construisent réellement quelque chose appellent généralement cela machine learning, et les acheteurs devraient s’intéresser au mode de fonctionnement et aux critères de validation plutôt qu’au nom
1 commentaires
Avis de Hacker News
Je ne sais plus de qui c’est, mais il y a une citation brillante que j’aime bien : « On appelle ça de l’IA seulement jusqu’à ce que ça fonctionne. Regardez l’autocomplétion »
Quand une entreprise dit qu’elle « fait de l’IA », pour un ingénieur logiciel, ça veut dire qu’on ne sait quasiment pas où l’on veut aller avec cette IA, ni quel service on va fournir
Depuis, je me méfie de l’approche façon « la fin justifie les moyens » qu’impliquent les projets d’IA. Chacun son avis
Mon cabinet de conseil consiste à faire correspondre des idées qui peuvent être résolues ou exploitées avec des frameworks de machine learning à des services ou solutions numériques
Le résultat final est rarement appelé « IA », mais au bout du compte on utilise quand même de l’IA / du machine learning. On est là depuis un peu plus longtemps que l’emballement actuel autour de l’IA, et cette niche est assez amusante
Aujourd’hui on parlerait d’un paquet de if-else codés en dur, mais il y a 40 ans c’était de l’IA de pointe, et il y a 20 ans ça valait la peine d’être mis dans les manuels
Elles partent de l’IA comme solution pour chercher un problème à résoudre, alors que dans l’idéal ce devrait être l’inverse
Elles vont presque certainement brûler beaucoup d’argent à répéter dans la panique une approche vide de sens. On dirait que ça arrive à chaque nouvelle technologie de base, et il devait y avoir beaucoup d’entreprises comme ça pendant la bulle Internet
Ça colle bien avec la blague classique : « Le machine learning est généralement écrit en Python, l’IA est écrite en PowerPoint »
« Juste avant l’introduction en Bourse d’Uber en 2019, le capital-risque était inondé de pitchs de startups du type “Uber pour X”. Uber pour les places de parking, par exemple »
Beurk. L’actuel président français a notoirement proposé d’« uberiser » l’économie, ce qui signifiait des emplois précaires coûtant moins cher aux employeurs
Les dirigeants de mon entreprise parlent déjà sans arrêt de choses comme l’IA générative. Je ne suis pas impatient d’entendre encore plus de baratin marketing sur l’IA-isation de tout dans un avenir proche
Ce qui est drôle, c’est que ce qu’on appelait « IA » semble avoir glissé vers des choses que nous ne considérons jamais comme faisant partie de l’intelligence quand nous disons d’un humain qu’il est « intelligent »
Prenez les robots de Boston Dynamics : on ne considère pas quelqu’un comme intelligent parce qu’il sait distinguer un chat d’une chaise, marcher sans tomber ou faire un salto arrière
En revanche, s’il sait utiliser de façon créative les données et les capacités physiques dont il dispose pour résoudre un problème, on le juge intelligent
Quand on s’émerveille devant « l’IA » dans des choses comme les robots, telle que je la comprends, cette IA se situe surtout dans la perception (passer de données brutes de capteurs à un modèle du monde étiqueté) et le contrôle moteur (transformer des instructions comme « avance d’un mètre » ou « fais un salto arrière » en séquences effectives d’actions des actionneurs)
La véritable « intelligence », c’est-à-dire la décision d’ouvrir une porte, d’aller dans une autre pièce et d’aller chercher du beurre de cacahuète et du pain pour accomplir la tâche « fais-moi un sandwich au beurre de cacahuète », relève le plus souvent d’une logique if-then classique ou d’un opérateur humain
Je vois un schéma similaire avec des choses comme ChatGPT. La capacité d’un élève à mémoriser un manuel et à le réciter parfaitement peut être impressionnante, mais on n’appellerait pas cet élève « intelligent »
Un élève intelligent est celui qui, même s’il a oublié la preuve d’un théorème ou la définition exacte d’un terme, peut, face à un nouveau problème, parvenir de manière créative à la bonne solution. Les « élèves perroquets » échouent généralement lamentablement à cet exercice
J’ai vu autrefois sur YouTube une vieille vidéo d’un système d’automatisation très primitif, probablement destiné à une tour de contrôle d’aéroport. Ça devait dater des années 70, et la personne appelait ça de l’IA
Elle expliquait en détail ce que faisait le logiciel et montrait même le code : c’était littéralement une montagne de if/else
Quand on se sera habitué à des choses comme ChatGPT, soit on ne les appellera plus IA, soit on élargira encore le terme « intelligence artificielle générale » pour désigner la cible suivante
Jusqu’à récemment, j’étais plutôt du camp qui disait de ne pas appeler ça IA si ce n’est pas une intelligence artificielle générale, mais franchement, qui s’en soucie ? Les mots ne sont que des outils pour transmettre des idées
Si la plupart des gens veulent appeler IA ce que nous construisons aujourd’hui, très bien, et ce n’est pas faux. Ce n’est pas sensible, mais selon certains critères on peut soutenir que c’est intelligent, et c’est clairement artificiel. Tant qu’on se comprend, ça suffit
L’intelligence ne se résume pas au raisonnement. Traverser une pièce pour prendre un objet demande déjà une puissance cérébrale considérable
Dans les années 90, j’avais un aspirateur qui embarquait la « logique floue », le mot à la mode cool de l’époque
Qui sait ce que ça faisait vraiment. Ça voulait probablement juste dire qu’il y avait des réglages de puissance intermédiaires entre marche et arrêt
Il semble y avoir une petite différence entre un peu chaud et très chaud, mais un basculement net entre un peu frais et un peu chaud
Parfois, je veux juste que le ventilateur brasse de l’air à température ambiante, sans qu’il soit chaud ni froid
Je trouve notable qu’Apple continue à parler de machine learning
L’IA a toujours été un terme grand public. Dans les jeux, par exemple, toutes sortes de choses ont été appelées « IA »
Les gens ont toujours été satisfaits d’appeler à peu près n’importe quoi IA[1], puis quand l’IA commence à vraiment bien réussir dans des domaines comme le langage naturel, ils réinventent le vocabulaire pour la rabaisser
De mon vivant, IA a désigné tout logiciel qui imitait, même très légèrement, un aspect de la prise de décision humaine
Et puis quel est l’enjeu ? Refuser de l’appeler IA ne change pas ses capacités, en bien ou en mal
Cela ne change pas non plus le fait que les principaux laboratoires de recherche sur les capacités, à l’exception de FAIR, essaient réellement de créer une véritable intelligence générale, et même FAIR s’appelle Fundamental AI Research lab pour une raison
[1] Exemple : l’IA des fantômes de Pacman — une expression tout à fait sensée pour quelque chose qui se résume à quelques lignes de code tournant sur un Z80. Wikipedia : « Each of the four ghosts has its own unique artificial intelligence (A.I.), or "personality": ... »
Les développeurs doivent souvent rendre l’IA du jeu assez bête pour qu’elle paraisse équitable aux joueurs, puis lui donner des bonus pour équilibrer
Par exemple, l’IA d’un jeu a souvent des munitions illimitées, mais ses balles ne font pas beaucoup de dégâts au joueur
On dit qu’il y a aussi de l’IA saupoudrée quelque part dans mon téléviseur Sony, mais je n’ai aucune idée de ce qu’elle fait. Moi, ce dont j’ai vraiment besoin, c’est d’un grand écran idiot
Ne pourrait-on pas réconcilier les deux et appeler ça « apprentissage statistique » ?
« Ceux qui l’écrivent en Python appellent ça du machine learning, ceux qui l’écrivent en PowerPoint appellent ça de l’IA »
Les gens paient pour des trous, pas pour des perceuses