shelter-puppy, un pipeline vidéo IA local qui maîtrise les hallucinations

Il s’agit d’un pipeline qui crée un short de présentation d’un chien uniquement à partir de vidéos brutes tournées au téléphone. En lui donnant plusieurs vidéos raw sur smartphone et un paragraphe de requête en langage naturel, il produit environ 4 minutes plus tard une vidéo verticale 9:16 avec sous-titres et narration. L’ensemble du processus, de la détection jusqu’au TTS, a été conçu pour fonctionner en local sur un seul MacBook.

Vidéo de démo

Lancer une vidéo dans un LLM pour en tirer une démo plausible n’est pas difficile. À la place, l’objectif était de répondre à deux questions : peut-on reproduire exactement le même résultat demain, et peut-on éviter de mélanger ce que l’IA a inventé avec ce que l’humain a défini.

Structure

• Le LLM ne fait que l’interprétation, l’exécution est déterministe. Gemma (en local) ne s’occupe que des jugements sémantiques comme les noms d’actions, la décomposition des demandes de montage ou l’observation des scènes, tandis que tous les pixels, frames et timings sont manipulés par Python/OpenCV/ffmpeg. À entrée identique, sortie identique.
• La détection et le suivi reposent sur YOLO11 + ByteTrack, la réidentification de plusieurs chiens sur des embeddings DINOv2 + des photos de référence fournies par le propriétaire, et la distinction mouvement/immobile sur une mesure du résidu ROI compensée du mouvement de caméra. Les axes que le LLM ne peut structurellement pas voir, comme le mouvement d’une image fixe, ne lui sont pas confiés.
• Le TTS est synthétisé en local avec Qwen3-TTS (mlx-audio), puis vérifié via une passerelle CER aller-retour avec Whisper.
• Les sous-titres inventés par le LLM sont décomposés en assertions factuelles puis comparés aux journaux d’observation vidéo ; s’il n’y a pas de preuve, ils sont réécrits. Les sous-titres écrits directement par l’utilisateur ne sont pas vérifiés.

Méthode de décision

• Tous les changements de modèles et de paramètres ont été décidés à partir d’une évaluation sur un golden set annoté manuellement.
• Des améliorations qui semblaient évidemment bénéfiques ont pourtant été rejetées à deux reprises lors de l’évaluation sur le golden set.

Chiffres

• 148 tests unitaires, précision de 1.00 sur la classification des comportements sur M4
• Temps de génération réduit de 8 minutes à 4 minutes sur l’ensemble du cycle de vie.

Limites
Le golden set comprend 5 à 9 vidéos, un seul domaine, et le développement a été réalisé seul. Il s’agit de la rigueur de la méthodologie, pas d’une validation à grande échelle.

Le processus de développement a été publié en série sur le blog.
Licence MIT. Les discussions sur l’adaptation de cette méthodologie à d’autres domaines, ainsi que les questions sur chaque décision, sont les bienvenues.