- LlamaCloud : un nouveau service managé de parsing, d’ingestion et de recherche de nouvelle génération, conçu pour fournir une Context-Augmentation de niveau production aux applications LLM et RAG
- LlamaParse : une technologie de parsing de documents complexes incluant des objets comme des tableaux et des graphiques. Intégrée à LlamaIndex, elle permet de construire la recherche sur des documents complexes et semi-structurés
- API d’ingestion et de recherche managée : fournit une API permettant de charger, traiter et stocker des données facilement, et de les utiliser depuis n’importe quel langage. Elle fonctionne avec LlamaHub, LlamaParse et un entrepôt de données intégré
La qualité des données conditionne le RAG
- Le cœur des LLM repose sur l’automatisation de la recherche de connaissances, de la synthèse, de l’extraction et de la planification à partir de sources de données non structurées
- Pour cela, une nouvelle stack de données appelée Retrieval-Augmented Generation (RAG) est apparue : charger, traiter, vectoriser les données, puis les charger dans une base de données vectorielle
- La stack RAG diffère de la stack ETL traditionnelle et a un impact direct sur la précision des systèmes LLM
- Le démarrage est simple, mais la construction d’un RAG de niveau production reste difficile
- Les résultats obtenus ne sont pas toujours satisfaisants
- Le nombre de paramètres à ajuster est trop important
- Les PDF posent surtout problème à cause de leur mise en forme souvent désordonnée
- La synchronisation de données mises à jour en continu est très difficile
- LlamaCloud et LlamaParse ont été conçus comme un pipeline de données pour mettre plus vite les applications RAG en production
LlamaParse
- LlamaParse est un parseur de pointe qui permet d’interpréter pour le RAG des tableaux et des graphiques intégrés à des documents PDF complexes
- Il permet de répondre à des questions sur des documents complexes qui étaient impossibles à traiter avec des approches existantes
API d’ingestion et de recherche managée
- En tant qu’autre produit majeur de LlamaCloud, il permet de définir facilement des pipelines de données performants et de fournir des données propres aux applications LLM
- Il offre des gains en temps d’ingénierie, en performance et en réduction de la complexité du système
Partenaires de lancement et collaborateurs
- LlamaParse a collaboré avec divers partenaires pour construire des partenariats de stockage et de calcul dans l’écosystème LLM et IA, notamment avec DataStack, MongoDB, Qdrant et NVIDIA
FAQ
- LlamaCloud ne concurrence pas les bases de données vectorielles ; il se concentre sur le parsing et l’ingestion des données. Il est intégré à plus de 40 bases vectorielles populaires
- La couche de recherche est une orchestration au-dessus des systèmes de stockage existants
Prochaines étapes
- LlamaParse est disponible en preview publique dès aujourd’hui, tandis que LlamaCloud est proposé en preview privée à un nombre limité de partenaires design
1 commentaires
Commentaires Hacker News
Membre de l'équipe ayant développé LlamaParse, j'ai déjà conçu plusieurs extracteurs PDF vers texte structuré, et LlamaParse apporte des améliorations par rapport à d'autres extracteurs. Pour l'extraction de texte, il combine l'OCR et l'extraction de texte depuis les PDF, et pour la reconstruction des documents il combine heuristiques et modèles de machine learning. Associé à une stratégie de recherche récursive, cela permet d'obtenir d'excellents résultats en question-réponse pour des textes complexes.
LlamaParse a développé un service de parsing propriétaire très performant pour convertir des PDF avec des tableaux complexes en un Markdown bien structuré. N'est-ce pas un problème que les responsables d'un projet qui a gagné en notoriété grâce aux contributions de la communauté open source prennent des financements VC puis créent quelque chose de propriétaire ?
Je ne comprends pas pourquoi publier sur Medium. Medium est devenu moins lisible, il faudrait un article de blog accessible à tous.
Je suis curieux de savoir à quoi LlamaParse se compare directement face à unstructured.io.
L'expérience initiale avec LlamaParse n'a pas été convaincante. J'ai eu un problème de redirection infinie lors de l'inscription par e-mail, puis une déception avec le parseur PDF après connexion via Google. Il existe déjà beaucoup d'alternatives, et je ne comprends pas pourquoi ce service est nécessaire.
LlamaParse semble chercher à résoudre un problème difficile. Beaucoup d'entreprises ont besoin d'analyser des PDF et d'extraire des données précisément. L'interface est un peu confuse. LlamaParse peut extraire les chiffres d'un tableau, mais la sortie ne semble pas être fournie au format tableau, seulement accessible via la question-réponse.
N'est-ce pas similaire à ce qu'AWS Textract fait ? Il sait parser et interroger des informations dans des tableaux et formulaires. Pour LI, la recherche historique pour les workflows et le RAG est plus simple pour les utilisateurs, mais je me demande pourquoi réinventer la roue.
Si l'on peut utiliser des LLM pour extraire les données dès le départ dans le format le plus adapté, pourquoi construire cela ? Cela peut avoir du sens à court terme à cause des coûts, mais à long terme ce sont des problèmes qu'on résout généralement avec des LLM.
LlamaParse résout précisément le problème récurrent que j'ai rencontré concernant le RAG. Il est difficile d'obtenir des informations structurées à partir de données non structurées.
Question sur le prix.