J’avais déjà posté une question sur le multi-locuteur en coréen ! Voici la mise à jour sur la suite !

Je ne sais pas si ça correspond vraiment à ASK GN..! Mais comme ce n’est ni une actu ni un Show, je le poste ici.

Je suis en train de construire quelque chose à partir des avis que vous m’aviez donnés la dernière fois.
Par hasard, un ami chargé du business avec qui je travaille avait aussi une idée similaire, donc deux non-développeurs bricolent actuellement un MVP ensemble.
(Le coût de Claude Code 5X + de l’API est entièrement à ma charge.. mon ami côté business fournit l’alcool et la nourriture.. haha)

Comme on le construit autour de contenus comme des dramas, émissions de divertissement et films, les modèles utilisables sont assez limités.
Du coup, après pas mal de recherches, nous utilisons Whisper (API OpenAI), Pyannote et Assembly AI.

La période gratuite de pyannote est terminée, donc il faudrait payer, mais comme ce n’est pas une facturation à l’usage et que c’est un abonnement ($19/month), on a laissé tomber,
et on teste actuellement avec Deepgram Nova-3. (Ils donnent $200 à l’inscription.)

Mais... évidemment, sans pyannote, la séparation des locuteurs est difficile, donc nous utilisons meronym/speaker-diarization sur replicate.com pour faire la diarisation des locuteurs.

Au vu du résultat final, la séparation des locuteurs fonctionne tout de même à peu près correctement.
Je prévois aussi de comparer avec Clova, et je partagerai également les résultats de la comparaison !

Maintenant, mes questions suivantes sont :

1. La séparation des locuteurs se fait à partir de l’audio ; si on y ajoute une fonction de reconnaissance faciale, est-ce que cela permettrait d’être plus précis ?
2. Comment faut-il collecter les métadonnées nécessaires à la reconnaissance faciale ?
3. Si l’on se base sur des contenus comme des dramas / films / émissions de divertissement, où obtenir les métadonnées ? (Naver, NamuWiki, etc.)
4. Est-ce que collecter ces métadonnées améliorera réellement la qualité au regard du coût et du temps nécessaires ?

S’il y a des personnes plus expérimentées qui se sont déjà posé ce type de questions, je serais très reconnaissant pour tous vos conseils...!!!

[boradi]

Pour vous répondre avec ce que je sais, ayant déjà mené des recherches sur la séparation des locuteurs :

1. Oui, cela devient plus précis. En revanche, la difficulté technique sera probablement assez élevée, puisqu’il faut pouvoir faire correspondre jusqu’aux mouvements des lèvres et à la synchronisation avec la voix. Il existe de nombreux projets open source liés au sujet, comme TalkNet-ASD ou 3D-Speaker-Toolkit, donc vous pouvez tout à fait vous en inspirer. Plus récemment, il y a aussi des recherches comme SpeakerLM, qui combinent des LLM et fournissent à la fois des images et de la vidéo en entrée afin de permettre simultanément la séparation des locuteurs et la génération de sous-titres.
2. Comme je ne connais pas bien le contexte de l’activité que mène l’auteur du post, je vais répondre uniquement à partir des informations écrites : dans des contenus comme les dramas, films ou émissions de variété, les visages qui apparaissent peuvent être extraits très différemment pour une même personne selon le maquillage ou la situation. Il faut donc isoler tous les visages des personnes apparaissant dans chaque contenu, faire du clustering par visage, puis les faire correspondre en 1:1 avec les membres du casting de ce contenu. C’est faisable aussi avec un modèle multimodal, mais pour garantir la précision, un travail de labellisation humaine reste nécessaire, ce qui demande donc beaucoup de temps et de coûts. C’est aussi pour cela qu’on paie des travailleurs temporaires. À noter que même lorsqu’il n’y a que l’audio, si vous extrayez ces données vocales à l’avance puis que des humains les labellisent pour créer des embeddings, la qualité de la séparation des locuteurs s’améliore fortement.
3. Pour ce type de contenu, il existe de nombreuses API liées à des bases comme tmdb, imdb, kmdb, donc n’importe qui peut récupérer un certain volume de données, gratuitement ou non. En revanche, la mise en base elle-même devra être faite de votre côté. Le crawling peut aussi être une option.
4. Je ne sais pas exactement ce que vous cherchez à faire, mais ce que j’ai expliqué plus haut est facile à dire, alors qu’en pratique, augmenter réellement la précision demande beaucoup de temps et d’argent. Les recherches que j’ai menées se sont elles aussi pas mal prolongées pour diverses raisons. Atteindre 80 à 90 % de précision est facile, mais c’est aussi quelque chose que tout le monde peut faire. Remplir les 10 % restants de détails, c’est donc l’essence même de l’industrialisation et sa valeur centrale. Si vous demandez « est-ce que la qualité s’améliore ? », alors oui, évidemment. Mais si vous demandez « est-ce que l’amélioration vaut le coût et le temps investis ? », là, je ne saurais pas vraiment le dire. Comme je l’ai mentionné, on parle d’une amélioration d’environ 10 %.

Quoi qu’il en soit, c’est impressionnant et admirable de voir des non-développeurs se lancer dans ce type de défi. J’espère que cela marchera bien pour vous.

[somang04]

Merci !! Comme prévu, l’automatisation a ses limites, et pour le tagging et le mapping, il faut bien y consacrer du travail humain..

Il va falloir recruter un esclave de plus.. Ça m’a énormément aidé !!

Merci !!

[hmmhmmhm]

La diarisation est plutôt bonne, mais il y a quelques points décevants, donc parmi les modèles publics, si l’on veut aller plus en profondeur, on a l’impression qu’il faut carrément basculer dans un travail de recherche, comme le dit le commentaire ci-dessous.

[somang04]

Je fonce un peu à l’aveugle… haha. Au final, quand on ne sait pas, on se lance quand même.
Comme l’a dit la personne ci-dessous, il faut forcément y mettre de la main d’œuvre humaine, donc je suis en train de recruter un esclave n° 1… haha

[hmmhmmhm]

Oh... c’est vraiment admirable de vous lancer dans ce défi... moi aussi, ça me donne de l’élan !! Courage !!!