> "I genuinely don't understand why some people are still bullish about LLMs."
- J’utilise chaque jour divers LLM comme GPT, Grok, Gemini et Mistral
- Je les utilise en espérant gagner du temps sur la recherche d’informations et les résumés, mais ils fabriquent encore souvent des sources, des citations et des liens
- Quand on clique sur les liens, on tombe souvent sur une erreur 404, ou bien la phrase citée n’existe tout simplement pas, même en la recherchant
- Même lorsqu’ils citent des articles scientifiques, il arrive souvent qu’ils n’existent pas après vérification
Quelques améliorations, mais une fiabilité toujours faible
- L’usage de techniques comme DeepSearch ou Chain of Thought a légèrement amélioré la précision par rapport au passé
- À mon avis, DeepResearch de GPT-4o est actuellement le plus fiable
- Grok fournit mal les liens de référence, même quand on le lui demande, et n’arrive même pas à renvoyer correctement vers des liens de tweets
- Gemini est encore pire : au lieu de trouver les sources, il se contente d’indiquer à l’utilisateur de faire la recherche lui-même
Les calculs simples ou la recherche de constantes sont utiles, mais la précision reste un problème
- Pour les conversions d’unités ou les constantes physiques, ils répondent vite et permettent de gagner du temps
- Mais ils se trompent souvent sur des calculs simples, comme les estimations d’ordre de grandeur
- On peut se demander s’il faut vraiment un LLM de plus de 100 milliards de paramètres pour ce genre de tâches
Des résultats décevants aussi pour le résumé de documents
- J’ai téléversé un document PDF et demandé un résumé, mais il a pris pour un document de 2023 un fichier dont l’en-tête indiquait clairement 2025
- Ce type d’erreur donne une impression très éloignée de ce qu’on appellerait de l’"intelligence"
Les graphes de connaissances ne sont pas non plus une solution
- Beaucoup pensent que les graphes de connaissances régleront les problèmes des LLM, mais en réalité ce n’est pas possible
- Il reste très fréquent d’obtenir des phrases logiquement cohérentes mais totalement déconnectées de la réalité
- Même si un graphe de connaissances empêchait les erreurs logiques, il pourrait toujours générer des phrases sans rapport avec les faits
Inquiétudes sur la surévaluation du marché
- Les entreprises survendent en permanence les LLM, et cela constitue un risque
- Si un modèle d’IA d’un type entièrement nouveau apparaît et surpasse les LLM, la valeur des entreprises centrées sur les LLM pourrait chuter brutalement
- Le jour où cela arrivera, on peut s’attendre à un choc majeur sur les marchés financiers
2 commentaires
Moi aussi, je pensais à peu près la même chose l’an dernier, mais en voyant la vitesse des progrès, je suis au contraire devenu optimiste.
Avis Hacker News
Les LLM sont une technologie remarquable, qui permet de réaliser des choses dont on rêve depuis longtemps. Ils comprennent et dialoguent malgré les fautes d’orthographe ou des questions mal formulées, génèrent de superbes images et aident aussi à écrire du code. Pourtant, certains se plaignent qu’ils ne soient pas une superintelligence parfaite. La vitesse des progrès technologiques est étonnamment rapide. Certains se plaignent qu’« ils ne savent pas écrire du code comme un ingénieur senior avec 20 ans d’expérience »
L’expérience avec Claude, que j’utilise principalement, est très différente. Je n’essaie pas de lui confier des tâches pour lesquelles les LLM sont mauvais. Les utilisateurs de l’IA se divisent entre ceux qui cherchent les échecs et ceux qui cherchent les réussites. Pour des tâches simples de scripting, les LLM sont presque parfaits. Si on trouve comment faire fonctionner l’IA, cela peut devenir un outil puissant
L’utilisabilité des LLM reste insuffisante. Ils gèrent mal les citations ou l’indication des sources. Le fait qu’un ordinateur ne puisse pas trouver correctement les faits va à l’encontre d’un point fort traditionnel de l’informatique
Beaucoup de gens utilisent mal les LLM. Récemment, il y a eu beaucoup de débats sur la question de savoir si les modèles de langage sont les mieux adaptés à la transcription vocale. Il y a 10 ans, il n’existait pas de transcription automatique en temps réel, mais aujourd’hui c’est possible et cela continue de progresser. Malgré les erreurs des modèles d’IA, la transcription automatique est utile dans de nombreuses situations
Je me demande s’il faut écouter l’avis de Sabine. Les LLM peuvent effectuer des tâches de modélisation de séquences et de prédiction. Si l’on peut ramener un problème à de la modélisation de séquences, alors les LLM peuvent s’en charger
Le point commun des critiques adressées aux LLM est qu’ils ne sont pas parfaits. J’utilise souvent ChatGPT pour la recherche académique. Il invente parfois des références bibliographiques, mais il aide à trouver des articles importants. Vérifier l’exactitude est facile, trouver les connaissances est difficile. Au final, l’effet positif est considérable
Beaucoup de gens confondent la puissance de la technologie et la bulle dans laquelle nous vivons. J’envoie des millions de requêtes à l’IA et j’obtiens ce dont j’ai besoin. La technologie progresse et les coûts évoluent aussi. Il y a une tendance à penser que l’IA peut faire des choses qu’elle ne peut pas faire
J’utilise beaucoup Claude et je génère des programmes pour des questions liées à la santé. Sa capacité à expliquer logiquement des questions complexes et à ajuster l’analyse est très précieuse. Comparé à un médecin, la responsabilité incombe à l’utilisateur
Beaucoup de gens ne savent pas bien manier les outils « imparfaits ». Un LLM est un outil dont la probabilité de succès n’est pas de 100 %, ce qui exige une approche différente. Si on l’imagine comme un oracle probabiliste, son utilité varie selon sa probabilité de réussite
J’ai beaucoup d’amis qui ne s’entendent pas bien avec les autres, mais moi je m’entends bien avec tout le monde. C’est pareil pour l’IA : elle n’est pas parfaite, mais c’est un outil étonnant. Les avantages de l’IA l’emportent largement sur ses erreurs. Apprendre à interagir avec l’IA comme avec les humains est sans doute la compétence la plus importante dont on ait besoin au XXIe siècle