- Kiwi : analyseur morphologique intelligent pour le coréen (Korean Intelligent Word Identifier)
- Bibliothèque d’analyse morphologique du coréen conçue pour offrir une grande vitesse et des performances polyvalentes
- Un modèle de langage léger est intégré, ce qui permet une analyse morphologique assez précise même en cas d’ambiguïté
- Implémenté en C++. Le développeur est un fan de C++.
- La bibliothèque est disponible pour Python, JavaScript, C#, Java, R et Go
- Compilée en wasm, elle peut être exécutée dans le navigateur
- Le modèle est proposé en trois tailles : petite (16 Mo), moyenne (40 Mo) et grande (90 Mo)
- Le processus de développement est publié en détail sur le blog
- L’entraînement d’un modèle de langage coréen utilisant Kiwi comme tokenizer est également impressionnant
Aucun commentaire pour le moment.