- Le résumé de match généré par IA d’ESPN a omis le contexte essentiel du match de retraite d’Alex Morgan, montrant qu’un résumé automatique peut passer à côté d’une histoire importante pour les lecteurs même s’il rapporte correctement le résultat
- San Diego Wave a été battu 4-1 par North Carolina Courage, et Morgan a joué 15 minutes, tiré un penalty, puis remercié le public et fait ses adieux
- Le résumé d’ESPN Generative AI Services a été publié sur le site web et l’app à 20 h 52 heure de l’Est ; en 215 mots, il couvrait les buts et le déroulé du match, mais ne mentionnait jamais Morgan
- ESPN affirme que chaque résumé IA fait l’objet d’une relecture par un éditeur humain, mais on ne sait pas si cet oubli est passé entre les mailles du processus de relecture ou s’il a été exclu par choix éditorial
- Même si un article séparé couvrait le dernier match de Morgan, un résumé IA destiné aux fans de sports peu couverts doit aussi savoir sélectionner le contexte pour gagner leur confiance
La scène clé du match que le résumé IA a manquée
- Figure emblématique du football américain, Alex Morgan a disputé dimanche son dernier match professionnel avec San Diego Wave, dont l’équipe s’est inclinée 4-1 face à North Carolina Courage
- Pendant le match, Morgan a retiré ses crampons au milieu du terrain et a salué en larmes le public du Snapdragon Stadium
- Le public scandait le nom de Morgan, tandis que les joueuses l’entouraient et l’applaudissaient
- Morgan a joué 15 minutes dans le match et a tiré un penalty
- Après la rencontre, elle a remercié le public pour son soutien et lui a fait ses adieux
- Le match a été diffusé simultanément sur plusieurs chaînes et services de streaming
L’omission du résumé d’ESPN Generative AI Services
- ESPN Generative AI Services a commencé cette semaine-là à proposer des résumés de matchs de NWSL et de Premier Lacrosse League
- Le résumé en question a été publié sur le site web et l’app d’ESPN à 20 h 52 heure de l’Est
- Le résumé présentait de manière standard le résultat, les buteuses et le déroulé du match, mais ne mentionnait pas Morgan une seule fois dans ses 215 mots
- Il omettait aussi le fait qu’il s’agissait du dernier match professionnel de Morgan, double championne du monde et médaillée d’or olympique
- Le résumé contenait la phrase selon laquelle « [Kennedy] Wesley [de San Diego] a été la standout player, contribuant à la fois en défense et en attaque »
Les questions soulevées par la relecture humaine
- Lors de l’annonce du service, ESPN a indiqué qu’un éditeur humain vérifiait la qualité et l’exactitude de chaque résumé généré par IA
- La raison de l’absence de Morgan n’est pas claire
- Il est possible que l’éditeur humain n’ait pas remarqué l’omission de Morgan
- Il reste aussi possible qu’il ait jugé que le contexte lié à Morgan ne méritait pas d’être mentionné
- Même si les faits contenus dans le résumé étaient exacts, l’absence de Morgan et de l’importance de cette soirée en fait un exemple de résumé incapable de transmettre le contexte global du match
Article séparé et correction tardive
- ESPN a publié un article séparé centré sur Morgan, signé Jeff Kassouf
- Cet article couvrait la dernière soirée chargée d’émotion de Morgan, mais il se trouvait dans le menu latéral du résumé généré par IA et pouvait facilement passer inaperçu
- ESPN a modifié le résumé du match le lundi 9 septembre à 8 h 59 heure de l’Est pour y ajouter une mention d’Alex Morgan
Les limites des résumés IA dans les sports peu couverts
- ESPN a déclaré que les résumés générés par IA visaient à renforcer la couverture des sports peu servis et à fournir aux fans des contenus qui n’étaient pas proposés auparavant
- Un résumé de match qui manque un contexte important montre qu’une simple énumération de faits ne suffit pas
- Un rédacteur humain peut voir non seulement le résultat du match, mais aussi les moments importants pour les joueuses, la ligue et les fans ; ce résumé IA n’a pas su remplir ce rôle
1 commentaires
Commentaires Hacker News
C’est assez drôle d’utiliser ça comme exemple pour taper sur le contenu généré par IA. Les entreprises de contenu sportif sur le Web produisent automatiquement des articles depuis au moins dix ans, bien avant que les LLM ne deviennent connus.
C’était généralement pour le référencement : plus on avait de contenus qui semblaient plausiblement pertinents, mieux c’était pour l’optimisation pour les moteurs de recherche.
Il est très probable que ce genre de chose se soit déjà produit plusieurs fois avant l’IA, mais que ce soit passé inaperçu ou n’ait pas suscité beaucoup d’intérêt. Dans ce cas, on dirait plutôt qu’ESPN a manqué de sens du terrain et n’a pas veillé à ce qu’un rédacteur mette directement l’article à jour. ESPN est depuis longtemps réputé privilégier la quantité à la qualité.
Source : j’ai travaillé comme développeur côté technique dans une entreprise qui produit ce type de contenu.
Le simple fait que ce genre de contenu générique, saupoudré de termes sportifs, soit rentable est assez déprimant.
On voit bien que beaucoup d’articles sportifs sont en fait du remplissage de cases. C’est pour ça qu’ils publient immédiatement un article de l’AP, puis que le journaliste réellement chargé du sujet sort son propre papier le soir même ou le lendemain matin.
Qu’elles soient générées automatiquement ou non, elles sont tout aussi inutiles ; les LLM ne font que les rendre moins chères à produire.
Ce match a été diffusé par ESPN à la fois sur ESPN2 et ESPN+. Il y a donc de fortes chances qu’ils payaient deux commentateurs experts pour apporter du contexte et expliquer les moments importants avant, pendant et après le match.
Ils ne fournissent pas ça au bot de rédaction sous forme de transcription des sous-titres ? Comme les commentaires sont déjà traités en sous-titres en direct, ça ressemble vraiment à une amélioration facile.
« Voici la transcription d’un match de football. Rédigez un article de 200 mots sur ce match, dans le style d’un journaliste sportif professionnel expérimenté. »
Le résumé commençait ainsi : « Pour son dernier match professionnel, Alex Morgan a livré une prestation pleine d’émotion et de résilience, mais le San Diego Wave s’est incliné 3-1 face au North Carolina Courage. Disputé au Snapdragon Stadium de San Diego, ce match n’était pas seulement une rencontre sportive, mais un hommage à l’une des figures emblématiques du football. »
Le score était faux. Le reste est ici : https://chatgpt.com/share/de8c60d1-69ab-4291-99dc-d4d95af3d3...
Si l’on injecte dans un LLM une transcription de plusieurs heures, il y a un risque d’hallucination parce que les commentateurs se sont emballés sur une occasion de but ou sur un événement qui n’a finalement pas eu lieu.
À l’inverse, une tâche simple comme « transformer en phrases la liste des buts, les minutes, les buteurs, les passeurs, etc. » peut être réalisée par un algorithme déterministe sans LLM, et c’est peut-être ce qui s’est passé ici aussi. Certains problèmes grammaticaux du texte d’origine donnent plutôt l’impression de règles de substitution pré-LLM mal combinées.
On peut construire un système qui vérifie de manière itérative le premier résultat d’un LLM résumant une longue transcription, et le compare aux données structurées déjà connues pour confirmer son exactitude. On pourrait aussi obtenir un contenu plus riche avec un taux d’erreur acceptable, et des ingénieurs en machine learning de tout premier plan pourraient en prototyper un lors d’un hackathon.
Mais pour une organisation de grande taille et réticente au risque, ce n’est pas du tout facile. Il est difficile de battre l’argument selon lequel « ce qu’on a aujourd’hui est imparfait, mais au moins ce n’est pas factuellement faux ».
C’est assez différent de l’approche « accès à tout » à laquelle on s’attend dans une entreprise tech, et même du bon sens général.
Je n’ai aucune idée de la façon dont ESPN travaille ; je fais seulement une déduction à partir de ce que j’ai vu ailleurs.
Si l’information « c’est le dernier match d’Alex Morgan » ne figurait nulle part dans l’entrée ni dans le prompt, comment un résumé par IA aurait-il bien pu l’ajouter dans l’article sur le match ?
Même si on avait seulement donné à un stagiaire ado un tableau avec les buteuses et les minutes des buts, il aurait sans doute écrit un article similaire. Mais ce n’est pas pour autant une excuse permettant aux médias et aux sites de sport d’utiliser de l’IA générative pour tout, et je comprends aussi pourquoi les gens s’agacent contre ESPN.
Voilà à quoi ressemble l’application de l’IA générative : utiliser une entrée de mauvaise qualité pour produire quelque chose qui ressemble à un article. C’est donc ça, l’avenir radieux qu’OpenAI nous a apporté.
Au lieu de simplement fournir les événements du match à un LLM et de lui demander un résumé, on voit assez clairement comment améliorer les choses : inclure dans le prompt les résumés des 10 articles récents liés aux joueuses, entraîneurs, etc. impliqués dans le match, et peut-être aussi les résumés des 10 grands articles historiques.
Ensuite, on peut lui demander de résumer le match, tout en utilisant les autres informations comme référence pour améliorer la qualité de l’article. Cela ressemble précisément à quelque chose qu’un LLM peut bien faire, non ?
ESPN a souligné que « chaque résumé généré par IA est relu par un éditeur humain afin d’en garantir la qualité et l’exactitude », mais c’est difficile à croire.
L’objectif principal de faire écrire des articles par l’IA étant de réduire le nombre de personnes à rémunérer, payer des professionnels formés pour relire soigneusement chaque article a probablement été exclu des options.
On peut faire des compromis en rendant la relecture moins rigoureuse, en abaissant le niveau d’expertise des éditeurs, ou en ne mettant pas d’humain sur chaque article, mais ils ne paieront pas des éditeurs professionnels pour faire correctement ce travail. Je peux le garantir.
Même avec un éditeur pour 10 journalistes remplacés, cela reste une grosse réduction des coûts.
Peut-être que dans quelques générations de plus, les éditeurs seront eux aussi remplacés, mais je ne pense pas qu’on en soit encore là.
ESPN a retiré les humains du reportage, et l’IA a retiré les humains du contenu du reportage.
Dans l’annonce de son service, ESPN a insisté sur le fait que « chaque résumé généré par IA est relu par un éditeur humain afin d’en garantir la qualité et l’exactitude ». On ne sait pas si l’éditeur humain n’a pas remarqué l’absence de Morgan, ou s’il a jugé que cela ne valait pas la peine d’être mentionné.
Depuis 100 ans, accuser le stagiaire a toujours fait un excellent bouc émissaire.
Je déteste vraiment les résumés de match par IA des rencontres de WTT (World Table Tennis).
Les temps forts générés par IA coupent au milieu des échanges, sautent des points entiers, voire des sets entiers. Ils ne tiennent pas compte des événements importants entre les points, et coupent parfois les commentaires enthousiasmants ou les célébrations après un point, ou même la poignée de main de fin de match.
Comment ces résumés par IA sont-ils générés ? Je me demande si on lui fournit le fichier vidéo complet du match et qu’il produit un résumé, ou si on lui donne une feuille de match rédigée par un humain avec les horodatages des buts, puis que l’IA ajoute des phrases autour pour en faire un article.
Aujourd’hui, il suffit probablement de fournir les appels API bruts avec un prompt du type « rédige un article de résumé de match à partir de ces données » pour obtenir un résultat. Bien sûr, j’imagine que le prompt est un peu plus travaillé que ça. Ou peut-être pas, vu que c’est ESPN.
En revanche, je n’ai absolument aucun souvenir que retiring_players ait figuré dans la réponse de l’API.
Au passage, les résumés action par action sont vraiment documentés de manière extrêmement détaillée. C’en est étonnant. Pour les sports populaires comme le football américain ou le basket, on a parfois la position des joueurs à la seconde près. Ces données viennent de flux comme SportsRadar.
Ils ne mettent probablement pas des données aussi fines dans le prompt, mais il existe déjà de très bons résumés d’informations, comme le nombre de tirs à trois points marqués par un joueur et l’endroit d’où ils ont été tentés.
En y ajoutant les effectifs, les blessures et le calendrier, avec un prompt assez basique, il y a de bonnes chances que ce soit nettement meilleur.
Ce type de données existe aujourd’hui pour la plupart des matchs en direct via plusieurs services web. ESPN a certainement suffisamment de ressources en interne pour récupérer ce genre d’informations.
Si un système à plusieurs milliards de dollars échoue à cause d’une « erreur humaine », alors ses capacités ont peut-être été largement exagérées. S’il faut des requêtes soigneusement conçues — du « prompt engineering » —, des données 100 % sans erreur, une consommation électrique énorme, puis encore des humains pour relire les sorties, je ne vois pas bien ce que nous avons gagné.
N’est-il pas temps d’admettre que cette phase IA est une bulle ?
Ces sites web sont bourrés de traceurs et de publicités, et se contentent en général d’étirer énormément des articles à très faible effort qui rapportent des choses assez insignifiantes.