Surveiller des caméras de sécurité avec une IA locale

 (frigate.video)
1 points par GN⁺ 2025-08-06 | 1 commentaires | Partager sur WhatsApp
  • Frigate NVR propose une solution de détection d'objets basée sur l'intelligence artificielle locale pour les caméras de sécurité installées à la maison ou au bureau
  • Prise en charge de l'intégration avec des plateformes d'automatisation populaires comme Home Assistant, OpenHAB, Node-RED
  • Frigate s'intègre directement au Home Assistant Media Browser, permettant une utilisation immédiate des flux caméra et de l'automatisation
  • Grâce à l'exposition en temps réel de données capteur/interrupteur, il est possible de configurer divers scénarios de notifications et d'automatisation
  • En s'appuyant sur MQTT pour une interopérabilité évolutive, il est possible de construire une smart home efficace

Fonctionnalités principales de Frigate NVR

  • Frigate NVR exécute l'intelligence artificielle de détection d'objets localement, ce qui permet d'analyser les vidéos des caméras de sécurité sans dépendre d'un service cloud externe
  • Il peut être intégré avec Home Assistant, OpenHAB, Node-RED, etc., et se connecter facilement à diverses plateformes d'automatisation domestique
  • Frigate affiche directement les vidéos de caméra dans le Media Browser de Home Assistant, en fournissant des entités caméra à faible latence
  • En exposant les résultats de détection d'objets en tant que données de capteur et d'interrupteur en temps réel, il ouvre la voie à de nombreux usages, dont la détection d'événements basée sur la vidéo, les règles d'automatisation et la configuration d'alertes
  • La prise en charge du protocole MQTT est un atout pour une intégration évolutive avec d'autres systèmes IoT et d'automatisation

À lire aussi

1 commentaires

 
GN⁺ 2025-08-06
Commentaires de Hacker News

  • J'utilise Frigate depuis plus de deux ans. Selon moi, il est bien meilleur, en termes de vitesse de détection et de fiabilité, que tous les systèmes que j'ai testés. Avant, j'avais utilisé des caméras Ring, Tapo et Eufy Security ; aujourd'hui, je ne me sers plus que de caméras Tapo, reliées à Frigate via RTSP. J'ai bloqué l'accès Internet de ces caméras, ce qui garantit parfaitement la confidentialité. Eufy Security n'était pas fiable non plus : chaque appui sur une notification de détection de mouvement affichait une publicité pour un nouveau produit, l'annonce passant avant ma sécurité. Il y avait aussi un souci avec l'ouverture des vidéos cloud malgré un abonnement payant, et des données sensibles comme les mots de passe étaient enregistrées sans chiffrement. Ces points ont été mes raisons principales de passer à une solution auto-hébergée. J'utilise Frigate avec du matériel d'occasion et une carte graphique RX 550 pour activer l'accélération matérielle, avec un délai de détection toujours inférieur à une seconde. J'ai même créé une app avec l'API Frigate pour envoyer des captures d'écran sur Telegram et Pushover, et j'ai maintenu un environnement autonome pendant deux ans. Sur toute cette période, le service n'a redémarré que deux fois. Je tunnelise depuis un VPS vers le serveur local de la maison, et je peux l'utiliser parfaitement depuis l'extérieur. Je suis vraiment reconnaissant de ce projet impressionnant.

    • Je me demande si vous l'utilisez avec Home Assistant. Pour info, mon FAI bloque l'accès au site HACS, donc l'intégration HACS ne fonctionne pas bien. Même en essayant d'installer avec wget depuis get.hacs.xyz, j'obtiens des erreurs SSL et la connexion est coupée.
    • Si vous avez une méthode pour bloquer les caméras sur Internet et les garder uniquement sur le réseau local, tout en évitant d'éventuels transferts en backchannel, n'hésitez pas à la partager.
    • Je me demande si les caméras Eufy peuvent être utilisées avec Frigate.
    • Je suis curieux de savoir comment le Tapo fonctionne correctement avec Frigate en mode RTSP. Chez moi, le réseau devient très instable même avec une seule caméra sur le Wi-Fi ; même en répartissant une caméra par bande, une caméra par AP, j'ai eu des problèmes.
    • C'est assez surprenant d'avoir d'abord confié des données vidéo aussi sensibles à des marques. Je trouvais déjà les militants GNU un peu bizarres ; maintenant, je comprends de moins en moins mes collègues qui n'utilisent même pas de bloqueur de pubs.

  • C'est une de mes critiques habituelles : utiliser l'acronyme NVR dans la première phrase sans explication. NVR signifie Network Video Recorder. Tout le monde n'est pas forcément un expert du domaine, donc évitez cette pratique.

    • Il me paraît raisonnable de supposer que le visiteur connaît déjà ce que veut dire NVR. En tout cas, je pense qu'à partir du contexte, ils savent suffisamment ce qu'est Frigate.
    • Je ne suis pas d'accord. Je m'attends à ce que plus de 90 % des personnes cherchant Frigate sachent ce qu'est un NVR. Bien sûr, il est préférable de définir les termes, mais NVR est au minimum une connaissance de base que celui qui veut utiliser ce genre de produit doit avoir.
    • Je serais d'accord en partie, mais NVR est un acronyme très courant, non seulement chez les professionnels de l'industrie, mais aussi chez les consommateurs. C'est un terme qu'on retrouve presque partout quand on se renseigne sur des solutions CCTV. Si quelqu'un ne le connaît pas, le nom Network Video Recorder perd aussi de son sens. D'ailleurs, la finalité de Frigate est justement de remplacer ces boîtes NVR fermées et rigides, ce qui explique la présence du mot NVR dans son nom.
    • La plupart des commerces, dans mon expérience, nomment quasiment tous leurs produits en NVR ou NVR Recorder ; une simple recherche donne la réponse.

  • GPU/TPU ne sont pas indispensables. Il suffit d'ajuster le nombre de caméras et les zones de détection. Pour la détection, j'utilise un sous-flux MJPEG basse résolution/faible taux d'images, et le h264 uniquement pour l'enregistrement et le visionnage. Pour l'inférence CPU, OpenVINO est bien plus rapide que TensorFlow par défaut, et sur une VM 6 cœurs (Ivy Bridge Xeon), deux caméras tournent avec environ 20 % d'usage CPU.

  • L'accélération vidéo (décodage vidéo, pas l'inférence d'objets) est un peu instable, mais derrière c'est l'expérience la plus solide que j'ai eue avec une solution d'inférence d'objets en temps réel. Les petits animaux ne me réveillent plus la nuit. Au passage, j'ai un abonnement annuel qui permet d'entraîner un modèle IA avec mes données de faux positifs ; la précision s'est nettement améliorée.

    • C'est agréable aussi de ne plus être réveillé la nuit à cause des animaux, et de pouvoir collecter des photos d'animaux variés. C'est comme découvrir un monde caché.
    • Les pilotes et logiciels des Coral AI Board sont typiquement des Google Abandonware(tm) : ils imposent des versions Python obsolètes et la compatibilité avec les OS récents et les GPU en souffre. En 2025, ça revient à acheter du matériel demandant un logiciel au niveau de Windows 7.
    • C'est de pire en pire chez moi. Je les utilise depuis 2-3 ans, et ces derniers temps, les jouets d'enfants, les trottinettes de jardin et les drapeaux de pirates déclenchent sans cesse de faux positifs. Pour des raisons de vie privée, je ne peux pas partager mes données d'erreurs, donc je prévois d'entraîner mon propre modèle avec des données accumulées sur le long terme.
    • Je suis prêt à payer cet abonnement pour plusieurs raisons : 1) support développeur, 2) coût d'entraînement explicitement répercuté, 3) possibilité de conserver les modèles entraînés de manière permanente. C'est l'opposé d'AgentDVR. Je me charge moi-même de l'accès distant et des notifications push, tandis qu'AgentDVR demande déjà un abonnement mensuel pour un simple accès VPN.

  • La qualité de packaging de Frigate est impressionnante. En standard, go2rtc ou MediaMTX (go2rtc, MediaMTX) suffisent, mais pour intégrer de l'IA il n'y a pas vraiment d'outils Unix-like vraiment simples ; il faudrait l'implémenter en Python.

    • J'ai utilisé Motion (Motion) longtemps. La configuration de base est simple et très flexible ; dès qu'on a besoin d'ajustements avancés, ça demande un peu de tuning.

  • Si je ne voulais pas traiter des vidéos enregistrées en temps réel, par exemple extraire de 5 heures d’enregistrement uniquement les scènes où un véhicule ou un conducteur tient son téléphone dans une zone précise, par où commencer et quel framework utiliser ?

    • Je te conseille la doc et les exemples d'OpenCV. J'ai déjà fait de la reconnaissance faciale avec OpenCV (exemple face_recognition) ; pour les véhicules, il faut entraîner un modèle séparément ou appliquer YOLOv3 (exemple YOLO).
    • Si tu interroges une IA commerciale correcte, elle te génèrera probablement immédiatement un script Python qui charge la vidéo et n'extrait que les instants où un conducteur tient un téléphone à une heure précise.
    • La techno You Only Look Once pourrait aussi être utile.

  • Blague sur le fait qu'il suffirait de tenir un gros panneau indiquant d'ignorer son système de sécurité pour neutraliser l'installation ?

    • En regardant GitHub, ils utilisent OpenCV et Tensorflow. La détection de mouvement est basée sur OpenCV, donc il faut qu'il y ait mouvement de personne ; tant que ça ne bouge pas super lentement, le contournement est impossible. L'inférence d'objets (Tensorflow) ne fait pas d'OCR, donc un panneau de texte ne peut pas tromper le système. En revanche, comme la liste des objets détectés est limitée, un déguisement en branchage de bois peut permettre d'éviter la détection.
    • Tu penses que de porter une « scramble suit » ou des t-shirts avec des motifs franchement conçus pour l'évasion de détection pourrait marcher ? (scramble suit, adversarial t-shirts)
    • Tu peux aussi mettre une combinaison de raton laveur sur tout le corps.
    • L'architecture est en deux étapes. Étape 1 : détection de mouvement avec OpenCV, puis détection d'objets en zone d'intérêt avec différents modèles selon le matériel. Les Coral TPU, Halio Accelerator et la plupart des GPU sont supportés (ROCm ne fonctionne pas sur les iGPU AMD). Coral supporte edgedet, ainsi que YOLO-NAS, YOLO, D-Fine et RF-DETR. Il existe des modèles payants spécialisés YOLO-NAS, ou tu peux entraîner le tien.
    • Ce n'est pas un LLM, juste une IA « classique » (même si un LLM peut aussi générer automatiquement des descriptions).

  • J'utilise Frigate avec 5 caméras IP (3 Hikvision, 2 Amcrest) et 1 caméra USB. Avec une Coral TPU USB, ça tourne correctement sur un vieux i7-6700, autour de 30 % CPU. Ce n’est pas top, mais c’est quand même viable. Les flux Amcrest se lisent bien, alors qu’Hikvision peut parfois nécessiter du transcodage à cause de soucis de codec. Il n’existe pas de fonction native pour envoyer les vidéos enregistrées à l'extérieur ; même en miroir le répertoire de stockage, isoler puis sauvegarder uniquement les événements importants reste structurellement difficile.

    • Je me demande aussi s'il est possible de faire de la reconnaissance identifiée de personnes (identified recognition), c'est-à-dire identifier des individus connus à partir de photos pré-enregistrées.

  • Je souligne encore une fois qu'avec un bon réglage du nombre de caméras et des zones de détection, CPU seul suffit, sans GPU ni TPU. Je partage mon expérience avec différents modèles (OpenVINO, Tensorflow, etc.).

  • C'est un autre sujet, mais pourquoi installer encore des caméras de surveillance qu'on regarde soi-même ? Il y a des études en psychologie disant que ces caméras augmentent davantage stress et anxiété. En pratique elles n’aident pas vraiment à prévenir le crime, et pour la police, les enquêtes ou les assurances, un backup hors site semble nécessaire. Même avec beaucoup de CCTV dans l'espace public, les cas où elles contribuent réellement à résoudre un crime (ex. identifier une plaque) sont extrêmement rares.

    • Le point clé de l'installation d'une caméra, selon moi, c'est l'effet d'ordre civique. Après avoir mis une caméra au-dessus de l'entrée, le livreur devient moins agressif et la dégradation de la clôture disparaît. Elles sont aussi utiles pour localiser un chat, surveiller à distance quand je sors, ou pour les réclamations d'assurance. Pour la plupart des CCTV bas de gamme, l'IR nocturne semble plus important que la résolution. Pour la vraie identification, j'utilise des caméras pro à faible résolution. Côté open source, j'utilise ZoneMinder avec de l'IA locale depuis longtemps.
    • Voir la remarque « ça augmente le stress et l'anxiété » m'a un peu fait mal, comme si on pointait mes émotions. Je pense que les raisons d'utiliser une caméra diffèrent d'une personne à l'autre.
    • Chaque personne diffère par son environnement, son niveau de risque et le soutien policier disponible, avec donc des critères, objectifs et états d'esprit différents. Je vis dans un endroit calme et je peux parfois m'absenter longtemps ; les périodes sans caméra me rendent moins serein que la tranquillité de savoir que ça surveille.
    • Ma sonnette a un enregistrement local : quand quelqu'un appuie sur le bouton, j'obtiens l'image quelques secondes avant sur notification desktop/mobile, ce qui permet de vérifier qui est là avant de réagir. C'est pratique, et avec les caméras autour de la maison je peux aussi poser des requêtes à une LLM comme « compte les oiseaux » ou « le chien est-il dans la cour ? »
    • Le but de Frigate, entre autres, est précisément de ne pas devoir surveiller en permanence. Les faux positifs d'animaux ou les véhicules d'amis importent moins ; il suffit de se concentrer sur les événements vraiment importants.

  • Je suis un ancien utilisateur de Frigate depuis 4 ans. Je n'utilisais Frigate qu'avec Frigate, sans Home Assistant ; récemment, j'ai réintroduit Home Assistant pour connecter les flux WebRTC des caméras Nest à Frigate. Je suis satisfait financièrement parce que je peux désormais en faire autant sans abonnement Nest Aware.