Frigate - enregistreur vidéo réseau open source avec détection d’objets par IA en temps réel

• NVR (Network Video Recorder) open source qui effectue localement une détection d’objets par IA en temps réel avec OpenCV et Tensorflow
  • Tout le traitement est effectué localement sur le matériel de l’utilisateur, et le flux des caméras n’est traité qu’en local
  • Il ne se contente pas de détecter un mouvement : il détecte des objets comme des personnes ou des voitures

Caractéristiques de Frigate

• L’un des enregistreurs vidéo réseau les plus étoilés sur GitHub, avec plus de 2 millions de téléchargements sur Docker Hub.
• La détection d’objets locale avec Google Coral TPU réduit les fausses alertes tout en permettant un traitement à 100+ FPS avec une surcharge très faible
• L’IA de Frigate analyse les flux vidéo pour ne faire examiner que les détections importantes
• Suit les objets en temps réel et permet d’ajuster finement les alertes selon leur position exacte.
• S’intègre à Home Assistant et à d’autres plateformes d’automatisation pour appliquer la détection d’objets à la domotique.
• Propose une vue Birdseye qui affiche dynamiquement les caméras avec détection active afin d’identifier facilement celles qui vous intéressent
• Communication via MQTT, ce qui facilite l’intégration avec d’autres systèmes

Expérience utilisateur

• Les utilisateurs bénéficient, avec Frigate, d’un système de caméras de sécurité open source, entièrement local et parfaitement contrôlable, grâce à sa grande capacité de personnalisation, sa détection d’objets rapide et son intégration étroite avec Home Assistant.
• Frigate permet de réduire considérablement les fausses détections stockées sur le disque dur et de gagner du temps lors de la revue de séquences sans incident.
• En utilisant Frigate, les utilisateurs peuvent supprimer la dépendance au cloud pour leurs caméras de sécurité sans perdre la détection d’objets ni l’historique des enregistrements.
• L’accès à des modèles personnalisés spécialement conçus pour Frigate sera bientôt proposé via Frigate+.

L’avis de GN⁺

• Frigate est une solution open source qui surveille les caméras de sécurité localement à l’aide de l’IA, en renforçant la protection de la vie privée tout en offrant une détection d’objets précise et des fonctions d’automatisation intégrées.
• Cette technologie aide les utilisateurs à gérer plus efficacement leur système de caméras de sécurité, tout en réduisant la dépendance aux services cloud et en renforçant la confidentialité des données.
• Les caractéristiques et l’expérience utilisateur de Frigate peuvent offrir une source d’inspiration intéressante aux ingénieurs logiciels débutants intéressés par la sécurité et l’automatisation, tout en illustrant l’approche innovante de la communauté open source.

[GN⁺]

Avis Hacker News

• Retour d'expérience avec Frigate

  • Utilisation de Frigate pendant 6 mois avec un Raspberry Pi 4 et un Google Coral TPU.
  • Deux caméras réseau 2 MP connectées, fonctionnement fluide et détection d'objets précise.
  • Enregistrement vidéo 24/7 possible en plus des événements, avec suppression automatique des anciennes données.
  • Intégration avec Home Assistant pour recevoir sur le téléphone des alertes avec vidéo en direct, instantanés et enregistrements.
  • L'expérience utilisateur et les options de configuration sont supérieures à celles des produits commerciaux.
  • Très recommandé : facile à utiliser, agréable, et pourrait même sauver des vies.

• Observations après test de Frigate

  • Frigate est un projet ambitieux dont on espère la réussite.
  • Le décodage matériel ou Coral n'est pas indispensable, mais aide.
  • La détection de mouvement avec OpenCV manque de précision.
  • La précision des modèles de détection d'objets disponibles publiquement est faible, ce qui fait manquer des événements importants.
  • Le support de Coral est instable et la maintenance des pilotes et bibliothèques laisse à désirer.
  • Exécuter les modèles sur CPU n'est pas particulièrement coûteux.
  • Envisage un passage à un logiciel plus simple.

• Manques fonctionnels de Frigate

  • Frigate est l'un des produits NVR/VMS les plus prometteurs, mais il manque encore de fonctions pour remplacer Blue Iris.
  • L'enregistrement continu existe de façon basique, mais reste une faible priorité pour un produit centré sur les événements.

• Possibilité d'utiliser des caméras Ring avec Frigate

  • Problème : impossible de relier les caméras Ring à Amazon.
  • Recherche d'un moyen de rooter ou d'utiliser des caméras Ring avec Frigate.
  • Réticence à payer des frais de service et à laisser Amazon exploiter les vidéos.

• Excellente prise en charge par Frigate

  • Excellent support des caméras via go2rtc et ffmpeg.
  • Prise en charge accélérée des codecs vidéo via ffmpeg.
  • Support de la détection d'objets avec des poids Yolo et des modèles personnalisés.
  • Support d'OpenVINO permettant une inférence accélérée sur CPU/GPU Intel.
  • Documentation de qualité.

• Attente d'une détection d'objets intégrée aux caméras

  • Souhait de pouvoir déporter la détection d'objets vers les caméras en exploitant les fonctions de détection d'événements intégrées à beaucoup de modèles.

• Exécution de Frigate dans un conteneur Docker

  • Frigate tourne dans un conteneur Docker sur un Mac Mini M1 et fournit une solution NVR stable.
  • Utilisation de HomeKit Secure Video avec Scrypted pour la surveillance à distance.

• Intégration de modèles personnalisés dans Frigate

  • Curiosité sur le processus d'intégration d'un dataset roboflow dans Frigate.

• Configuration de base requise pour Frigate

  • Nécessite un PC basé sur Intel, un Coral TPU en USB et des caméras PoE filaires.
  • Question sur l'alimentation des caméras : switch PoE ou plusieurs injecteurs PoE.
  • Les caméras Wi‑Fi ne sont pas recommandées ; c'est un bon moment pour passer à des caméras haute résolution.

• Possibilité d'exécuter Frigate sur des SBC Arm

  • Curiosité quant à la possibilité d'exécuter Frigate sur des SBC basés sur Arm.