- Créer quelque chose de cool avec un LLM est facile, mais le faire au niveau production est très difficile
- Un article qui examine les principaux défis à résoudre pour transformer une application LLM en produit, les méthodes et outils pour intégrer plusieurs tâches dans un flux de contrôle, ainsi que des cas d’usage prometteurs
Partie I. Les défis de l’industrialisation du prompt engineering
- L’ambiguïté du langage naturel
- Évaluation des prompts
- Versioning des prompts
- Optimisation des prompts
- Coût et latence
- Coût
- Latence
- L’impossibilité d’analyser conjointement le coût et la latence pour les LLM
- Prompting vs. fine-tuning vs. alternatives
- Prompt tuning
- Fine-tuning par distillation
- Embeddings + base de données vectorielle
- Compatibilité ascendante/descendante
Partie 2. Composabilité des tâches
- Applications composées de plusieurs tâches
- Agents, outils et flux de contrôle
- Outils vs. plugins
- Flux de contrôle : séquentiel, parallèle,
if, boucle for
- Flux de contrôle des agents LLM
- Tester les agents
Partie 3. Cas d’usage prometteurs
- Assistant IA
- Chatbots
- Programmation et jeux
- Apprentissage
- Talk-to-your-data
- Les LLM peuvent-ils faire de l’analyse de données à ma place ?
- Recherche et recommandation
- Vente
- SEO
Conclusion
- Nous en sommes encore aux débuts des applications LLM. Tout évolue rapidement
- J’ai vu récemment une proposition de livre sur les LLM, et ma première pensée a été que la plupart d’entre eux seraient dépassés en un mois
- Les API changent chaque jour, de nouvelles applications sont découvertes. L’infrastructure est optimisée de manière agressive
- Les analyses de coût et de latence doivent être faites chaque semaine, et de nouveaux termes sont introduits
- Tous ces changements ne sont pas forcément importants
- Les innombrables articles sur le prompt engineering rappellent un peu les milliers de publications du début du deep learning qui expliquaient différentes façons d’initialiser les poids
- Les astuces pour ajuster les prompts ne seront probablement pas importantes à long terme
- Sachant que les LLM sont déjà plutôt doués pour écrire eux-mêmes des prompts, qui sait s’il faudra vraiment des personnes pour les ajuster ?
- Récemment sur LinkedIn, des gens ont demandé comment rester à jour dans ce domaine, et les avis étaient variés
- Ignorez le hype (la plupart du temps)
- Lisez seulement les résumés
- Essayez tous les outils
- Quelle est votre stratégie ?
1 commentaires
Traduction : https://docs.google.com/document/d/…