Data2Vec - le premier algorithme d’apprentissage auto-supervisé haute performance qui fonctionne pour la parole, la vision et le texte

• Code, modèles préentraînés et article publiés en open source par Meta AI

• Les approches actuelles d’apprentissage auto-supervisé ont soutenu d’importantes avancées récentes de l’IA, mais elles restent encore très éloignées de la manière dont les humains apprennent en combinant différents types d’informations

→ Un algorithme à usage unique conçu pour les images est difficile à appliquer au texte

• data2vec est le premier à fonctionner sur différentes modalités, comme la parole, la vision et le texte

→ Nouveau paradigme : apprentissage auto-supervisé holistique

→ Il affiche de meilleures performances que les algorithmes à usage unique en vision et en parole, tout en restant compétitif en NLP

[ktasha45]

C’est intéressant.

[xguru]

Data2vec : un framework pour l’apprentissage de différentes modalités https://smilegate.ai/2022/01/23/data2vec/