La Wikimedia Foundation lance « Citation Needed », une extension Chrome expérimentale LLM/RAG

 (chromewebstore.google.com)
1 points par GN⁺ 2024-05-13 | 1 commentaires | Partager sur WhatsApp

Extension Chrome Wikipedia Citation Needed

  • Permet de vérifier une affirmation en sélectionnant un passage de texte précis pendant la navigation sur le Web
  • Utilise l’API ChatGPT pour rechercher des articles pertinents sur Wikipedia et en extraire des citations
  • Fournit des informations indiquant si l’affirmation sélectionnée est étayée sur Wikipedia, ainsi que des signaux de qualité de l’article comme la date de dernière modification et le nombre de références, afin d’aider l’utilisateur à mieux comprendre le contexte des informations qu’il reçoit, y compris celles provenant de Wikipedia

Demande de retours utilisateurs

  • Cette fonctionnalité est une fonction expérimentale utilisant l’IA générative, et l’équipe reconnaît qu’elle peut parfois faire des erreurs
  • Afin de comprendre et d’améliorer la qualité des résultats, il est demandé de signaler les problèmes rencontrés via le lien de retour de l’extension
  • Les retours généraux ainsi que les idées sur d’autres façons dont Wikipedia pourrait être utile dans la navigation Web au quotidien sont également les bienvenus

Informations pour les développeurs

  • Cette extension a été développée par l’équipe Future Audiences de la Wikimedia Foundation, une organisation à but non lucratif qui soutient Wikipedia et ses projets frères

Avis de GN⁺

  • Cette extension peut aider les utilisateurs à évaluer la fiabilité des informations qu’ils rencontrent sur le Web. Cependant, la qualité et l’exactitude des articles de Wikipedia peuvent elles-mêmes avoir des limites, ce qui rend difficile d’en faire un critère absolu.
  • L’automatisation du résumé et de la vérification à l’aide de grands modèles de langage comme ChatGPT peut améliorer le confort d’usage, mais elle comporte aussi un risque de génération d’informations erronées. Un suivi continu et des efforts d’amélioration semblent donc nécessaires.
  • En plus de Wikipedia, l’ajout de sources d’information fiables validées par des experts de chaque domaine pourrait améliorer la précision et l’exhaustivité de la vérification. À plus long terme, la construction d’une base de connaissances décentralisée fondée sur la blockchain pourrait aussi être envisagée.

À lire aussi

1 commentaires

 
GN⁺ 2024-05-13
Réactions sur Hacker News

  • Il s’agit d’une application expérimentale de RAG basé sur un LLM qui vérifie des affirmations sur Internet en les comparant à Wikipedia
    Plus de détails ici : https://meta.wikimedia.org/wiki/Future_Audiences/Experiment:...
    Pour info, j’ai participé à ce travail

    • Si vous avez besoin de plus de développeurs pour contribuer des idées ou du code, j’aimerais qu’on échange
      J’ai créé environ 8 extensions de navigateur au cours des 6 derniers mois, la plupart ont des milliers d’utilisateurs et l’une est montée jusqu’à 500 000 utilisateurs
      En ce moment, je développe une extension d’assistance au design basée sur un LLM, et on peut me contacter à « hello[at]papillonsoftware[dot]dev »
    • Cet outil ne semble pas vérifier si le document lui-même cite une source pour l’affirmation en question
      C’est peut-être pour ça que ça s’appelle Citation Needed. En pratique, il ne cite rien du tout
    • Je me demande s’il existe des documents sur les détails techniques ou la conception
    • Je me demande s’il y a des plans pour une extension Safari

  • Je me demande si les citations elles-mêmes peuvent halluciner, ou si vous utilisez une méthode comme le deterministic quoting[1]
    Pour info, je suis l’auteur de ce travail
    [1] https://mattyyeung.github.io/deterministic-quoting

    • Vraiment génial. Je me demande si cela pourrait servir de base à une exploration en langage naturel
      En consultant un document, je voudrais savoir s’il serait possible de rechercher des concepts plus complexes en anglais, plutôt que de chercher par mots-clés ou expressions régulières
      Sinon, je me demande aussi quel travail supplémentaire serait nécessaire pour arriver à ce niveau
    • Les citations elles-mêmes ne peuvent pas halluciner, mais nous utilisons ici une autre approche
      Cela dit, le travail sur le deterministic quoting a l’air intéressant

  • Il n’y a pas d’extension Firefox

    • Si la Wikimedia Foundation n’a pas été payée pour rendre ce projet dépendant d’une base navigateur d’embrace & extend agressive, elle devrait vérifier qu’elle n’est pas en train de passer à côté d’argent
      Ce genre de projet aide à affaiblir les navigateurs concurrents
    • Dans ce cas, je ne pourrai pas l’utiliser

  • Bonne idée. Plus tard, ce serait bien qu’un LLM puisse aussi vérifier les faits dans les articles Wikipedia eux-mêmes et les signaler

    • Au final, cela reviendrait à comparer des articles Wikipedia avec les mêmes articles Wikipedia sur lesquels le LLM a été entraîné, non ?

  • Voici le dépôt Git Wikimedia de cette extension
    https://gitlab.wikimedia.org/repos/future-audiences/citation...
    En plus, les instructions de build du README sont incomplètes et le hot reload ne semble pas fonctionner. Pour obtenir un build fonctionnel, il faut utiliser npm run build-dev
    On ne voit pas clairement ce qui empêcherait d’en faire aussi une extension Firefox. C’est peut-être une différence d’API sidebar/sidepanel, mais je n’ai pas beaucoup travaillé dessus

  • Si on y branche un générateur de documents basé sur la recherche, on obtient à la fois un générateur de documents et un vérificateur de documents, et on peut produire tel quel 100 milliards de pages
    Cela pourrait aussi servir de contenu d’entraînement pour les LLM, et les gens pourraient s’en servir aussi

  • Je me demande si ça fonctionne uniquement sur Chrome. Je n’ai pas réussi à le faire marcher sur Arc

  • @wikimedia : s’il vous plaît, une version Firefox

  • On parle d’une « extension Chrome qui trouve des citations dans Wikipedia », mais dans le monde académique, citer Wikipedia est généralement tabou
    L’une des raisons est sa fiabilité jugée faible, et un auteur peut citer une source qu’il peut lui-même modifier
    Plus important encore, Wikipedia peut être utile pour trouver des sources primaires, mais en soi c’est une source secondaire

    • Honnêtement, cette justification me paraît un peu datée
      Aujourd’hui, des cas massifs de fraude académique ont effectivement été mis au jour, et ils ont été très peu corrigés
      En revanche, Wikipedia a plutôt bien géré les abus ; utiliser des liens Wikipedia représente moins une menace pour le monde académique que la fraude académique n’en représente pour Wikipedia
    • L’idée, c’est de trouver l’information dans Wikipedia, et cette information est généralement accompagnée de citations vers d’autres sources
      Si on cherche avec Google, on trouve beaucoup de répétitions de la même information, mais la plupart des sites ne citent pas leurs sources
    • Je ne vois pas tellement en quoi ce serait différent d’avant
      Même avant Wikipedia, on ne citait pas de sources secondaires, mais on les utilisait clairement pour mettre le pied dans un sujet et trouver des sources pertinentes
    • Il y a beaucoup de raisons pour lesquelles il est généralement inapproprié de citer Wikipedia dans le monde académique, mais le fait qu’« un auteur puisse citer une source sur laquelle il a des droits d’édition » n’en fait pas partie
      Les chercheurs citent en permanence leurs propres articles ou d’autres sources sur lesquelles ils ont un contrôle éditorial
    • Wikipedia préfère se considérer comme une source tertiaire
      Elle souhaite que les références pointent vers des sources secondaires plutôt que primaires
      « Wikipedia articles should be based on reliable, published secondary sources, and to a lesser extent, on tertiary sources and primary sources. Secondary or tertiary sources are needed to establish the topic's notability and avoid novel interpretations of primary sources. »
      https://en.wikipedia.org/wiki/Wikipedia:No_original_research

  • En lui demandant des informations sur lui-même, il a renvoyé ceci

    "Citation Needed is an experimental feature developed in 2024"

    • The provided passages do not contain any information about a feature called 'Citation Needed' being developed in 2024.
    • Wikipedia
    • Discouragement in education
    • not be relied
      Ce n’était pas son usage prévu, mais j’ai trouvé ça assez drôle