Rechercher en langage naturel à l’intérieur des vidéos YouTube

• Recherche de scènes spécifiques dans une vidéo à l’aide du réseau neuronal CLIP d’OpenAI

→ recherche d’images présentes dans la vidéo, comme "Road Works", "People crossing the street" ou "Fire truck"

Fonctionnement

1. Télécharger la vidéo YouTube

2. Extraire chaque frame

3. Encoder toutes les frames avec CLIP

4. Encoder la requête en langage naturel avec CLIP

5. Trouver une scène spécifique à partir de la requête en langage naturel

• Exécutable directement sous forme de notebook dans Google Colab

→ https://colab.research.google.com/github/haltakov/…

[xguru]

Dans les commentaires, il y a aussi une recherche d’images Unsplash faite avec CLIP par le même développeur ; ça a l’air très utile aussi.

• https://github.com/haltakov/natural-language-image-search

• Google Colab : https://colab.research.google.com/github/haltakov/…

Il permet de trouver, parmi les 2 millions de photos mises en ligne sur Unsplash, celles correspondant au contenu souhaité.

• "Two dogs playing in the snow", "The word love written on the wall", "The feeling when your program finally works"