LiteRT-LM-Unity - Wrapper Android Unity pour LiteRT-LM

Je développe un LLM on-device sur Android.

J’utilisais auparavant whisper.cpp, mais comme il ne bénéficiait pas de l’accélération GPU, j’étais frustré par les performances.
Après la publication de LiteRT-LM, et en particulier avec l’intégration de MTP, j’ai jugé que les performances étaient nettement meilleures, j’ai donc procédé au portage,
et j’ai obtenu des résultats satisfaisants.

J’ai également réalisé des benchmarks sur divers modèles publiés dans la communauté LiteRT.

Je le rends public au cas où cela pourrait être utile à certains.

[wedding]

La prise en charge de Parakeet ASR a été implémentée, et celle de Whisper ASR est en cours d’implémentation.