Question HN : quelqu’un travaille-t-il sur un projet sympa avec des Tiny Language Models ?
(news.ycombinator.com)- Discussion autour des modèles de la gamme 0.5B-3B utilisables dans Ollama
- Question sur l’existence d’outils intéressants construits en utilisant ces modèles comme partie intégrante d’un flux de travail
1 commentaires
Commentaire Hacker News
J’ai configuré ollama pour répondre aux SMS de spam. J’attribue à chaque numéro un persona, comme un pote de salle millennial ou un gentleman britannique du XIXe siècle
J’utilise un modèle Llama pour identifier les bannières de cookies sur les sites web et ajouter des règles de filtrage à EasyList Cookie. La plupart des bannières de cookies ont un HTML/CSS similaire, donc on peut récupérer le
innerTextet utiliser un petit LLM pour éliminer les faux positifs. Un modèle 3B offre des performances correctes avec suffisamment de prompt engineering, et un 7B n’a presque plus de faux positifs sans coût supplémentaire. Le code et les prompts sont disponibles sur GitHubJ’utilise un mini PC équipé d’un CPU n100 pour générer des histoires de genres et de styles variés. Le ventilateur du CPU ne surchauffe pas, et ce n’est pas productif, mais c’est amusant
J’ai un petit script fish qui génère trois messages de commit à partir du
git diffcourant. Je teste plusieurs modèles, et c’est utile quand j’ai besoin d’idées. Le script et des exemples sont disponibles sur GitHubJ’ai un petit appareil qui essaie de désigner un « gagnant » au cours d’une conversation
Je recommande la conférence de Jamie Brew, "Comedy Writing With Small Generative Models". Ça vaut le coup d’attendre le moment où il sort la guitare et se met à jouer
Microsoft a présenté le modèle FLAME (60M de paramètres). Il surpasse des modèles bien plus gros (plus de 100B de paramètres) pour la réparation/complétion de formules Excel
Micro Wake Word est un ensemble de modèles d’appareil et une bibliothèque de réveil vocal pour ESPs. Il a récemment été déployé dans Home Assistants comme alternative entièrement locale à Alexa
J’ai affiné Gemma 2B pour identifier les messages urgents de nouvelles femmes enceintes sur une ligne téléphonique publique de conseil en santé maternelle
J’ai créé un modèle d’environ 1m de paramètres pour générer aléatoirement des cartes Magic the Gathering. Il est basé sur nanogpt de Karpathy avec quelques fonctionnalités ajoutées. Si vous avez un Mac Apple Silicon, vous pouvez générer le modèle directement depuis GitHub