MusicLM, une IA qui génère de la musique à partir de texte

• Article de recherche publié par Google Research
• Génère une musique très fidèle à la description textuelle : « une mélodie de violon apaisante sur un riff de guitare saturé »
• Génère une musique de plusieurs minutes en 24 kHz en la formulant comme une tâche de modélisation hiérarchique entre séquences
• Surpasse largement les systèmes existants en qualité audio comme en respect de la description textuelle
• Peut aussi transformer le style de mélodies sifflées ou fredonnées
• Il est possible de générer de l’audio en mode narratif en fournissant plusieurs prompts de manière séquentielle
• Publication du jeu de données MusicCaps, composé de 5,5 k paires musique-texte

[jin225675]

C’est impressionnant de voir qu’on peut obtenir une telle qualité à partir d’un simple texte !
Cela dit, il y a encore beaucoup de résultats assez maladroits, donc j’ai l’impression que ce sera surtout utilisé par les créateurs pour trouver des idées.

[xguru]

Riffusion - Stable Diffusion affiné pour générer de la musique