Comprendre ModernBERT de fond en comble grâce au TDD

ModernBERT est un modèle d’embedding/de reranking qui concentre les articles et techniques les plus récents, et il est utilisé comme modèle clé dans divers pipelines de traitement du langage naturel, notamment pour le RAG. Cependant, sa structure interne est complexe, et il est souvent difficile d’en saisir certains aspects à partir du seul code de modélisation.

L’open source de Sionic AI est un projet conçu pour permettre d’apprendre ce ModernBERT étape par étape, sur la base de tests unitaires. Il inclut en particulier le processus de conversion directe d’un modèle écrit en PyTorch vers TensorFlow, ce qui permet de comprendre clairement, à travers des scénarios de test, le rôle de chaque couche et de chaque fonction.

En outre, une fois converti vers TensorFlow, le modèle peut être servi facilement dans l’écosystème Spring/JVM. Comme il ne se limite plus à un environnement Python et permet d’utiliser ModernBERT dans de grands systèmes basés sur Java/Kotlin, cela sera particulièrement utile à ceux qui construisent des services de deep learning en environnement enterprise !