Jina AI dévoile le premier modèle open source d’embeddings de texte 8K au monde

• Modèle d’embeddings de texte jina-embeddings-v2 prenant en charge une longueur de 8 192 tokens
• Rival de text-embedding-ada-002 d’OpenAI, avec de meilleures performances dans les benchmarks pour la classification, le reranking, la recherche et le résumé
• Reconstruit de zéro, exploitable dans de nombreux domaines grâce à un contexte de 8k : analyse de documents juridiques, recherche médicale, analyse littéraire, prévisions financières, IA conversationnelle, etc.
• Deux modèles peuvent être téléchargés sur HuggingFace
  • Base Model (0.27G) : conçu pour les tâches intensives exigeant une grande précision, comme la recherche académique ou l’analyse métier
  • Small Model (0.07G) : destiné aux applications légères, comme les apps mobiles ou les appareils disposant de ressources de calcul limitées

[GN⁺]

Avis sur Hacker News

• Jina AI a lancé un modèle open source d’embedding de texte 8k.
• Certains utilisateurs mettent en doute les performances du modèle et soulignent qu’il est classé derrière les embeddings d’OpenAI et 14 autres contributions sur le leaderboard.
• La fenêtre de contexte 8k est une nouvelle capacité, mais certains utilisateurs s’interrogent sur son utilité, notamment compte tenu de la limite de 512 tokens.
• Alors que la plupart des benchmarks portent sur de petits documents, des doutes subsistent quant aux performances du modèle sur des documents plus volumineux.
• Certains utilisateurs se disent enthousiastes de voir la communauté open source réduire l’écart avec « Open »AI.
• Les vecteurs d’embedding du nouveau modèle font la moitié de la taille de text-embedding-ada-002 (768 contre 1536), ce qui peut économiser de l’espace en base de données et accélérer les requêtes.
• Des questions sont soulevées sur les cas d’usage des embeddings 8k, certains suggérant que cela pourrait ne pas être très utile pour le RAG.
• Un utilisateur a quantifié le modèle pour l’usage avec onnx, réduisant par quatre la taille des fichiers dans transformers.js.
• Le modèle est comparé à celui d’OpenAI, avec une prise en charge multilingue permettant de calculer les mêmes coordonnées pour un même sens dans différentes langues.
• Le nouveau plugin llm-embed-jina a été déployé dans l’outil LLM, permettant d’accéder au nouveau modèle de Jina.
• Certains utilisateurs ont été impressionnés par ce travail, mais s’interrogent sur la meilleure façon d’utiliser les embeddings 8k, suggérant qu’ils pourraient être utiles pour la correspondance de similarité approximative ou la détection de plagiat.
• En raison des restrictions sur les exportations de puces et des tensions entre les États-Unis et la Chine, des inquiétudes existent quant aux opérations de Jina AI, qui a des bureaux à Berlin et en Chine.