L’effarante stupidité de l’AI DJ de Spotify

• Le fonctionnalité AI DJ de Spotify met en évidence les limites de l’IA et les problèmes des métadonnées musicales à travers son incapacité à reconnaître correctement la musique classique
• Lorsqu’un utilisateur demande la « 7e Symphonie de Beethoven », l’IA ne comprend ni la structure de l’œuvre ni l’ordre des mouvements et lance un mouvement sans rapport ou une pièce d’un autre compositeur
• Malgré des consignes précises comme « jouer tous les mouvements dans l’ordre », l’IA sélectionne une mauvaise symphonie ou des enregistrements mélangés dans le désordre, produisant des résultats incohérents
• La cause profonde de ces erreurs est que les métadonnées de la musique numérique ont été conçues autour de la pop, sans refléter les notions de compositeur, d’œuvre et de mouvement
• Le texte souligne l’écart entre les attentes placées dans « l’intelligence » de l’IA et la réalité, et se conclut sur une remarque cynique selon laquelle la préservation de la tradition musicale occidentale n’a aucun lien avec l’intérêt des entreprises

---

Expérience d’utilisation de l’AI DJ et prise de conscience du problème

• Le texte s’ouvre sur la question « l’IA est-elle vraiment intelligente ? » et pose le problème de savoir si la responsabilité des erreurs de l’IA incombe aux programmeurs
• En essayant de rechercher de la musique classique via la fonction AI DJ de l’application Spotify, l’auteur constate à nouveau les limites de la structure de recherche existante de Spotify
• L’auteur, qui écoute volontiers non pas de la pop mais 500 ans de tradition musicale occidentale, cite comme exemples des compositeurs allant de Tallis à Shaw

Limites structurelles des métadonnées musicales numériques

• Les métadonnées des fichiers musicaux numériques se composent de trois tags, Artist, Album, Song, une structure conçue autour de la pop
• L’auteur souligne que le terme « Song » est une désignation impropre lorsqu’il s’applique aussi à la musique instrumentale, et explique qu’en musique classique, « composition » ou « work » seraient plus appropriés
• Comme la notion de « mouvement », centrale dans la structure de la musique classique, n’est pas reflétée dans les métadonnées, Spotify ne parvient pas à reconnaître l’organisation complète d’une œuvre

Test de lecture de la 7e Symphonie de Beethoven

• À la commande « Play Beethoven’s 7th Symphony », l’IA ne lance que le 2e mouvement Allegretto, puis enchaîne avec des morceaux sans aucun rapport
• Même à la demande « Play Beethoven’s 7th Symphony in its entirety », l’IA comprend à tort qu’il s’agit d’une œuvre complète de 9 minutes et ne joue encore que le 2e mouvement
• Avec « Play Beethoven’s 7th Symphony from beginning to end », elle reproduit le même comportement, le 2e mouvement uniquement, avant de passer à une pièce de John Field
• Quand on lui demande « Play all four movements », elle commence bien par le 1er mouvement, mais mélange des enregistrements de différents orchestres et inverse l’ordre
• Avec « Play all four movements in numerical order », elle produit un résultat totalement erroné, en commençant par exemple par le 1er mouvement de la 3e Symphonie

Manque de compréhension musicale de l’IA

• Le texte souligne que l’IA ne comprend absolument pas la structure en mouvements d’une œuvre ni la notion d’ordre
• Alors qu’il suffit de lire la première phrase de Wikipedia pour savoir qu’une symphonie de Beethoven se compose de 4 mouvements, l’IA n’en tient pas compte
• L’auteur tourne cette ignorance en dérision en la comparant au fait de lire d’abord le dernier chapitre d’un livre audio

Conclusion : rupture entre l’IA et la tradition musicale

• Le texte adopte une position sceptique face à l’idée selon laquelle l’IA pourrait « composer » de la musique, et critique une IA incapable de maîtriser les concepts de base tout en prétendant à la création
• Tout en reconnaissant que Spotify DJ est encore en phase bêta, l’auteur conclut sur un pessimisme réaliste : les entreprises n’ont aucune motivation à préserver la tradition musicale occidentale
• Dans l’ensemble, le problème est présenté comme la combinaison des limites de la technologie IA, du biais dans la conception des métadonnées et d’un désintérêt culturel

[GN⁺]

Commentaires sur Hacker News

• J’ai eu l’impression que l’auteur, bien qu’ayant un bagage technique, a écrit quelque chose d’assez étrange
  Ce n’est pas un problème d’IA mais de conception produit. Spotify DJ n’est en pratique guère plus qu’un « shuffle + commentaires vocaux », et il est tout à fait possible qu’il existe du code empêchant délibérément la lecture d’un album complet
  Généraliser l’IA comme un concept unique est une mauvaise approche. Le raisonnement du type « si cette fonctionnalité ne marche pas, alors l’IA ne sert à rien » relève d’une erreur de catégorie (category error)
  L’ensemble du texte mélange plusieurs idées de façon confuse, et la moitié se résume à une liste de titres de musique classique. Je suis d’accord pour dire que Spotify DJ n’est pas terrible, mais ce n’est pas une manière convaincante d’en faire la critique
  • Charles Petzold n’est pas un simple technicien, c’est l’auteur de référence sur Win32 et MFC. Le qualifier simplement de « technicien », c’est comme appeler Donald Knuth un « formateur »
  • L’organisation produit de Spotify est gravement inefficace. Les fonctionnalités diffèrent entre les apps desktop et mobile, et sur CarPlay il est souvent bien plus rapide d’effectuer une tâche simple directement sur le téléphone
  • On dirait que l’auteur a délibérément cherché à provoquer l’indignation (ragebait). Dire que « l’IA ne peut pas composer de musique », c’est aussi absurde que d’affirmer qu’un LLM ne peut pas produire de phrases grammaticalement correctes parce qu’il ne sait pas compter le nombre de r dans un mot
  • Je vois plutôt les choses à l’inverse. Le fait que cela soit techniquement tout à fait faisable et qu’on obtienne malgré tout ce résultat transmet très bien l’idée qu’« il n’y a aucune excuse »
  • Plus qu’une « erreur de catégorie », cela ressemble à une pétition de principe (begging the question). Le raisonnement place sur le même plan la fonction DJ et la capacité à composer, en supposant d’avance la conclusion
• Je n’ai pas utilisé AI DJ moi-même, mais j’ai du mal à adhérer à la critique de l’auteur
  On n’y voit aucune tentative d’explorer les forces et les limites de la technologie, seulement le schéma classique consistant à rabaisser toute l’IA à partir d’un cas très étroit. L’IA n’est pas humaine, il est donc normal qu’elle ait des limites
  J’ai observé quelque chose de similaire avec les assistants de code IA. Certains les rejettent en bloc pour des raisons de sécurité, tout en ignorant la possibilité de « créer une app Mac native en une seule phrase »
  • Ce que « l’IA peut faire » et ce que « les évangélistes de l’IA prétendent » sont deux choses totalement différentes. Lorsqu’on les interroge sur les limites, ils répondent souvent « il suffit d’utiliser plus d’IA » ou « dans 5 ans, tout sera résolu ». Ce genre de promesses exagérées détruit la confiance
  • L’exemple de « créer une app en une phrase » est difficile à juger fiable en pratique, car la qualité est probabiliste (probabilistic)
  • En réalité, à moins de rester au niveau « Hello World », il est impossible d’obtenir une application terminée en une seule phrase. Il faut forcément corriger et compléter
  • Ignorer la critique du produit Spotify pour dériver vers l’histoire de « l’app Mac en une phrase » est un enchaînement assez étrange
  • Je ne suis pas d’accord avec la généralisation sur l’IA, mais Spotify DJ est réellement un très mauvais produit. On ne peut pas le comparer à Claude Code
• AI DJ donne un peu l’impression de l’IA qui rédige des critiques de restaurants. C’est possible, mais les gens veulent davantage le goût d’un expert humain que l’opinion d’une machine
  Ce qui fait le charme des mixes DJ sur YouTube, comme Hör Berlin, c’est le choix et l’interprétation du DJ, ainsi que son contexte culturel. Quand l’IA extrait une liste optimisée, elle perd cette essence
  • L’avenir sera celui de la curation. Les curateurs humains dotés d’une vraie profondeur de connaissance et de sensibilité seront au contraire encore plus valorisés
  • Les mixes de Spotify n’ont pas beaucoup changé depuis 10 ans. Un DJ choisit plus ou moins quel mix lancer, et un LLM ajoute quelques commentaires. Au fond, cela reste simplement un système de recommandation ML
  • J’aime découvrir de nouveaux morceaux via les listes automatiques de SoundCloud. Ce n’est pas parfait, mais il y a un plaisir dans cette exploration intentionnelle
  • Un DJ humain qui lit les réactions du public dans une vraie salle et Spotify DJ, ce sont deux choses complètement différentes. Le second n’est guère plus qu’un shuffle avec un commentaire généré par LLM
  • Bien sûr, certaines personnes consomment l’art pour l’œuvre elle-même. La présence d’un curateur humain n’est pas forcément indispensable
• Le cœur du problème, c’est la structure des licences musicales. Avec une licence de type radio, l’utilisateur ne peut pas choisir directement les morceaux, et la lecture intégrale d’un album peut aussi être restreinte
  Spotify combine des licences de type radio et des licences interactives pour réduire ses coûts. Une playlist générée par l’IA n’étant pas un choix direct de l’utilisateur, il est probable qu’elle soit traitée sous le régime radio
• Si l’on écoute surtout de la musique classique, il vaut bien mieux passer à Apple Music Classical. Livrets PDF, comparaison par interprète, fonctions d’exploration : c’est supérieur sur tous les plans
  • À mon avis, Apple Music Classical ou Idagio sont bien meilleurs. Spotify ne se soucie pas vraiment du classique, car le marché est trop petit
• Les services de recommandation comme Spotify sont ennuyeux. La sélection d’un DJ humain est bien plus intéressante
  J’écoute souvent des radios comme dublab, NTS1 ou NTS2, où l’on tombe sur de la musique inattendue
  • Le plus gros problème de la curation par IA, c’est la qualité des données d’entrée. Les approches par similarité, hasard ou motifs ont toutes leurs limites. Au final, elles n’arrivent pas à capturer la diversité des goûts humains
    Même avec des centaines de millions de dollars investis, on n’a jamais réussi à rendre la recommandation parfaite, ni à remplacer la preuve sociale (social proof) que représente un DJ humain
  • Dans la recherche sur les systèmes de recommandation, on appelle cela le problème de la sérendipité (serendipity). Augmenter à la fois la pertinence et la surprise est une tâche très difficile
  • Je préfère faire moi-même des mixtapes ou mélanger des MP3 extraits de CD. J’écoute aussi des radios européennes pour entretenir mes langues étrangères, ainsi que des chaînes comme YouTube, KEXP ou Tiny Desk
  • NTS est vraiment excellent. Les algorithmes de streaming donnent en général l’impression d’être conçus surtout pour faire du bruit de fond
  • Merci pour la recommandation. J’ai lancé NTS et je continue à écouter. D’autres suggestions sont les bienvenues
• Dès le début du texte, la liste de compositeurs classiques m’a semblé tellement ostentatoire que j’ai perdu tout intérêt. Le mot DJ lui-même va bien davantage avec la musique électronique contemporaine
  • Des expressions comme « that moste illustriouse of musical traditionnes » donnent une impression de pose excessive
  • Un DJ, c’est quelqu’un qui passe de la pop ou de la dance à un mariage ou dans un club, pas quelqu’un qui mixe Bach ou Vivaldi
  • On a presque l’impression qu’une IA a généré automatiquement cette liste de compositeurs
  • J’ai eu exactement la même impression. Et le fait d’ajouter en plus « je sais que les gens ne connaîtront probablement pas ça » est assez ridicule
  • Au début, j’ai cru à une blague, puis j’ai été déconcerté de voir que le ton restait sérieux jusqu’au bout. J’ai appris la programmation Windows avec les livres de Petzold, donc j’ai été surpris de lire des propos qui donnent l’impression qu’il ne comprend même pas le principe de base du modèle Transformer
    Il est aussi regrettable de voir une vision de la musique qui semble réduire celle-ci à la pop et au classique occidental
• À la phrase sur les « piliers de la civilisation occidentale », j’ai commencé à décrocher. Au fond, la conclusion est évidente — Spotify n’est pas adapté à la musique classique, il suffit d’utiliser un autre service
• La vraie question du texte était : « quand l’IA agit stupidement, qui en porte la responsabilité ? »
  Pour moi, c’est un échec de conception du prompt. Si l’on teste la même demande avec cet exemple ChatGPT, l’IA réagit correctement
  Autrement dit, soit le modèle de Spotify est faible, soit son prompt interne l’oriente dans la mauvaise direction
  La thèse selon laquelle « l’IA ne peut pas composer de musique » est aussi une mauvaise comparaison. L’IA a déjà montré qu’elle pouvait comprendre la théorie musicale et une certaine capacité de composition. Au final, c’est surtout une question de qualité et de goût
  • Si le prompt dit quelque chose comme « enchaîner avec des morceaux d’artistes similaires », cela peut aussi relever d’une logique business visant à pousser des morceaux avec moins de royalties
  • Faire porter la responsabilité à l’utilisateur est désagréable. Le prompt était clair. Cette diffusion de l’industrie de l’IA rend le monde plus stupide et plus monotone
• Ce texte est un bon exemple de relativisme linguistique, l’idée selon laquelle la langue structure la pensée
  Chaque fois que les gens appellent les LLM de « l’IA », cela déforme leur perception.
  C’est à la fois la plus grande réussite du marketing et l’un des plus grands torts infligés au monde