Le chunking reste-t-il nécessaire avec les modèles d’embedding à long contexte ?

Même dans un contexte où les modèles d’embedding à long contexte peuvent tout traiter, cet article examine si les stratégies de chunking restent utiles, compare différentes approches de chunking et explique comment identifier la méthode optimale.

Embedding à long contexte (Long Context Embedding)

• Il s’agit d’une approche qui utilise des modèles comme Jina Embeddings v3 pour encoder en un seul vecteur un texte pouvant aller jusqu’à 8 192 tokens.
• Elle est utile pour saisir le contexte global d’un document, mais plus le document s’allonge, plus des problèmes de perte d’information et de dilution de la représentation peuvent apparaître.
• Elle convient pour identifier le sujet principal d’un document et fonctionne efficacement lorsque la requête utilisateur porte sur le contenu global du document.

Naive Chunking

• Cette méthode consiste à découper le texte en segments de taille fixe ou par phrase, puis à encoder chaque chunk indépendamment.
• Elle atténue le problème de dilution de la représentation, l’un des inconvénients de l’embedding à long contexte, et se montre avantageuse pour la recherche d’informations spécifiques.
• Comme chaque chunk perd les informations de contexte des chunks voisins, cette méthode n’est pas adaptée aux tâches qui doivent prendre en compte les relations entre chunks.
• Elle peut augmenter les coûts de calcul et de stockage.

Late Chunking

• Cette approche consiste d’abord à encoder l’ensemble du document pour produire des embeddings au niveau des tokens, puis à générer des embeddings de chunks en moyennant ces embeddings de tokens selon des frontières de chunks plus fines.
• Elle permet une représentation détaillée à l’échelle du chunk tout en conservant le contexte de l’ensemble du document.
• Par rapport au Naive Chunking, elle résout le problème de perte d’informations contextuelles et offre de meilleures performances de recherche.
• Elle est particulièrement efficace avec de petites tailles de chunk et utile lorsque différentes parties du document sont fortement liées entre elles.
• En revanche, si les différentes parties du document ont peu de lien entre elles, le contexte supplémentaire peut agir comme du bruit inutile et dégrader les performances.

Impact de la taille des chunks

• La taille des chunks a un impact majeur sur les performances de recherche.
• En général, le Late Chunking offre de meilleures performances que le Naive Chunking lorsque la taille des chunks est petite.
• À mesure que la taille des chunks augmente, les performances du Naive Chunking s’améliorent, tandis que celles du Late Chunking peuvent diminuer.

Conclusion

• Le choix entre embedding à long contexte, Naive Chunking et Late Chunking dépend des caractéristiques des données et des objectifs de la tâche de recherche.
• L’embedding à long contexte convient aux documents cohérents et aux requêtes générales, tandis que le chunking est utile lorsque l’utilisateur cherche une information précise dans le document.
• Le Late Chunking est efficace lorsqu’il faut préserver la cohérence contextuelle au sein de petits segments.
• Il faut comprendre les données et les objectifs de recherche, puis choisir l’approche optimale en tenant compte de la précision, de l’efficacité et de la pertinence contextuelle.