Meta AI annonce CoTracker, un modèle capable de suivre tous les points (pixels) dans une vidéo

• Meta AI a annoncé CoTracker, un nouveau modèle conçu pour suivre les points (pixels) dans une vidéo
• CoTracker vise à suivre plusieurs points sur l’ensemble de la vidéo en tenant compte des corrélations entre les points
• L’architecture s’appuie sur des idées issues de la littérature sur le flux optique et le tracking, et utilise un réseau de transformeurs avec des couches d’attention spécialisées
• Il peut être appliqué à de longues vidéos grâce à une approche par fenêtre glissante, et s’est montré plus efficace et plus précis que d’autres méthodes de suivi de points
• Le modèle produit des trajectoires plus propres et plus linéaires, en particulier lorsqu’il y a des occultations
• En matière de précision, CoTracker affiche de meilleures performances que d’autres travaux comme TAPIR et Multi-Flow Tracking
• Il représente une avancée importante pour les ingénieurs logiciels en leur offrant un nouvel outil puissant pour suivre des points dans des vidéos, avec de meilleures performances et une plus grande précision

[kuroneko]

La démo est plutôt jolie. En pensant à ce qu’il faut pour la VR, on a aussi l’impression qu’il y a un certain alignement avec le business...

[GN⁺]

Commentaire Hacker News

• L’angle business de la branche recherche de Meta n’est pas clair, et son lien avec l’activité principale est difficile à comprendre.
• L’expérience de Facebook avec les pixels de suivi semble avoir contribué au succès du modèle CoTracker de Meta.
• L’objectif de Meta semble être de rendre la VR incroyablement convaincante et de se concentrer sur la création de systèmes d’IA capables de comprendre le monde en temps réel.
• Des liens vers l’article scientifique, le GitHub et la démo de CoTracker sont fournis.
• Google dispose de sa propre version du suivi de points, appelée Tapir, sous licence Apache-2.0.
• Le processus de recherche dans une entreprise produit est différent de celui d’une entreprise centrée sur l’ingénierie.
• La comparaison entre CoTracker et les algorithmes d’estimation de mouvement des codecs vidéo soulève des questions.
• Des modèles d’IA open source comme CoTracker peuvent conduire les startups vers un marché très concurrentiel à faibles marges.
• Des figures influentes comme Andrew Zisserman, Hartley et Poggio sont mentionnées.
• CoTracker pourrait avoir des applications futures en AR.

[xguru]

L’angle business de la branche recherche de Meta n’est pas clair, et sa relation avec le cœur de métier n’est pas facile à comprendre.

C’est vraiment le commentaire clé ici. La recherche, c’est bien, mais il y a aussi beaucoup d’aspects où l’alignement avec le business n’est pas très clair.
Ça donne presque l’impression de revoir le Google d’autrefois...