Résumé d’un système de vision par ordinateur pour l’identification des joueurs de basket
(blog.roboflow.com)🏀 Résumé d’un système de vision par ordinateur pour l’identification des joueurs de basket
Cet article de blog explique en détail le processus de construction d’un système complexe capable de détecter, suivre et identifier les joueurs dans des vidéos de matchs de basket à l’aide de techniques de vision par ordinateur. Le système combine plusieurs modèles d’IA de pointe sous forme de pipeline afin de résoudre des problèmes difficiles comme les déplacements rapides des joueurs, les occultations dues aux contacts physiques, les maillots similaires et les mouvements de caméra.
Technologies clés et pipeline
Ce système identifie les joueurs au travers de plusieurs étapes de traitement sophistiquées.
-
Détection d’objets (Object Detection) :
- Le modèle RF-DETR est utilisé pour localiser avec précision les principaux objets de la vidéo, notamment les joueurs, numéros de maillot, ballon et arceau.
-
Suivi des joueurs (Player Tracking) :
- SAM2 (Segment Anything Model 2) est utilisé pour suivre les joueurs à chaque frame. Grâce à la mémoire interne de SAM2, le système continue de reconnaître et de suivre le même joueur même lorsqu’il est temporairement masqué par un autre joueur ou un autre objet.
-
Distinction des équipes (Team Clustering) :
- Une approche de clustering non supervisé est utilisée pour distinguer les deux équipes à partir des couleurs des maillots.
- Le modèle SigLIP convertit les caractéristiques visuelles de chaque joueur en vecteurs d’embedding.
- UMAP sert à réduire la dimension des données d’embedding de haute dimension vers un espace de plus basse dimension.
- L’algorithme de clustering K-means est appliqué pour répartir les joueurs en deux groupes correspondant aux équipes.
-
Identification des joueurs (Player Identification) :
- Les numéros de maillot sont reconnus pour identifier les joueurs de manière définitive.
- Au départ, SmolVLM a été utilisé pour l’OCR (reconnaissance optique de caractères), mais un modèle ResNet affiné pour la classification des numéros de maillot a montré une meilleure précision et a donc été retenu.
- Une métrique appelée IoS (Intersection over Smaller Area) est utilisée pour garantir que le numéro de maillot détecté soit correctement associé au bon masque de joueur.
- Pour renforcer la fiabilité du système, le numéro d’un joueur n’est validé que lorsqu’une même prédiction est répétée plusieurs fois.
Conclusion et code source
Ce système constitue un exemple réussi montrant qu’une intégration créative de plusieurs modèles de vision par ordinateur de pointe peut résoudre un problème complexe d’analyse sportive en conditions réelles. En revanche, en raison de la complexité du traitement, il ne fonctionne pas en temps réel.
- Code source : Le code complet du projet est disponible dans le dépôt GitHub ci-dessous.
1 commentaires
Le lien vers le code source ne s’insère pas.