6 points par GN⁺ 2024-01-12 | 1 commentaires | Partager sur WhatsApp
  • La recherche sur Internet était autrefois assez simple pour que « let me Google that for you » fonctionne, mais avec les informations générées par IA et les résultats de recherche erronés, il devient de plus en plus nécessaire de vérifier auprès d’une personne
  • Google affiche désormais des instantanés de pages directement dans les résultats de recherche, plutôt que de simples liens, exposant même des informations fausses comme la réponse IA de Quora affirmant que « les œufs peuvent fondre »
  • La baisse de qualité de la recherche va au-delà du simple problème des réponses IA : comme dans le cas d’une recherche sur une inflammation des sinus menant à des résultats sur une inflammation du pénis, c’est le contexte même de la recherche qui vacille
  • Un utilisateur de Twitter a révélé une méthode de détournement de trafic consistant à exporter les URL indexées d’un site concurrent, puis à créer rapidement des articles similaires avec l’IA pour dépasser ce site dans les résultats Google
  • Les soupçons visant Sports Illustrated — articles rédigés par IA et faux auteurs — montrent comment une production de contenu centrée sur la visibilité dans la recherche et les revenus publicitaires peut nuire à la confiance des lecteurs

Comment la recherche Google met en avant de mauvaises réponses

  • Autrefois, la confiance dans la recherche était assez élevée pour que l’on puisse se moquer de quelqu’un qui posait une question en ligne en lui disant de « chercher lui-même sur Google » ; l’expression « let me Google that for you » s’inscrivait dans ce contexte
  • Aujourd’hui, Internet est rempli de contenus poubelle générés par IA, ce qui rend plus difficile la vérification d’informations à partir des seuls résultats de recherche et augmente la probabilité de devoir redemander à quelqu’un
  • Au lieu de ne montrer que des liens vers des sites web, Google expose des extraits de pages sous forme d’instantanés dans des menus déroulants, permettant aux utilisateurs de lire les résultats sans cliquer
    • Cette approche peut faire voir de mauvaises informations avant même de vérifier le contexte original
    • En septembre 2023, Google a repris une réponse générée par IA de Quora et a indiqué à tort que les œufs pouvaient fondre
  • Un cas où une recherche sur une inflammation des sinus renvoyait des résultats liés à une inflammation du pénis a également été reproduit, révélant que la pertinence même des résultats de recherche est mise à mal

Exemples de contenus IA occupant les résultats de recherche

  • Un utilisateur de Twitter a affirmé avoir mené un « heist » de trafic Internet pour dépasser un site web précis dans les résultats de recherche Google
    • Il a consulté l’index du site cible
    • Il a exporté les URL des articles
    • Il a rapidement rédigé, avec l’IA, des articles basés sur ces URL
    • Il a décrit la modification manuelle des titres de pages web comme « optionnelle »
  • Sports Illustrated a été soupçonné, après un article de Futurism, d’avoir publié plusieurs articles rédigés par IA et attribués à des auteurs qui n’existaient pas
    • Lorsque Futurism a demandé un commentaire, ces contenus ont été supprimés
    • Sports Illustrated a ensuite déclaré que ces articles avaient été rédigés par un tiers, qu’ils n’étaient pas générés par IA, et que les auteurs utilisaient des pseudonymes
    • Cette explication ne justifie pas pourquoi les articles ont été supprimés après la demande de la presse
    • Il reste aussi le fait que Sports Illustrated avait déclaré publiquement, dans un article du Wall Street Journal de février 2023, son intention de générer du contenu et des idées d’articles avec l’IA
  • Internet ressemble de moins en moins à un réservoir où des humains partagent des informations entre eux, et de plus en plus à un espace où des machines communiquent avec des machines
  • L’expression « let me Google that for you » n’est plus aussi valable qu’avant, et la probabilité de tomber sur de fausses informations ou sur des contenus entièrement manipulés dans les résultats de recherche augmente
  • Les décideurs financiers de Sports Illustrated sont critiqués pour s’intéresser davantage à la manipulation des résultats de recherche Google et aux revenus publicitaires qui en découlent qu’au fait de servir correctement leurs lecteurs

1 commentaires

 
GN⁺ 2024-01-12
Avis sur Hacker News
  • Avec la diffusion des LLM, on a perdu une heuristique qui était utile. Avant, on pouvait repérer rapidement les publications sans valeur en voyant un texte truffé de fautes d’orthographe et de grammaire, mais cela ne marche plus du tout avec les textes poubelles générés par l’IA.
    La maîtrise de la langue est parfaite, parfois même meilleure que celle de la plupart des gens, si bien que n’importe qui peut produire instantanément un texte qui paraît crédible. Il n’est même plus nécessaire d’embaucher des rédacteurs comme le faisaient autrefois les spammeurs SEO, et le cas de curl, qui a souffert de faux rapports de bugs générés par l’IA, en est un bon exemple : https://news.ycombinator.com/item?id=38845878
    Ce n’est que le début et cela va empirer de beaucoup ; un jour, il pourrait devenir impossible de distinguer le bon grain de l’ivraie.

    • Il faut donner davantage à archive.org. La Wayback Machine pourrait devenir le seul moyen de couper tout ce qui est apparu après environ 2020 et de trouver des données utiles sur Internet.
    • Les tendances sont cycliques. Les moteurs de recherche étaient bien meilleurs pour découvrir des sites web liés entre eux, mais quand les gens se sont mis à jouer au SEO et à produire en masse de faux articles et des liens croisés, tout le monde a répété les mêmes banalités et la qualité de la recherche s’est effondrée.
      Si l’on doit ressasser les mêmes idées encore et encore, il n’y a aucune raison de ne pas l’automatiser, et au final les gens oublient même d’où provenaient les bons textes à l’origine. Par exemple, les LLM remplacent Stack Overflow, et Stack Overflow remplace la documentation technique. Quand le coût de production est quasiment nul, plus personne ne se soucie de la qualité ; puis, quand les gens en auront assez, les comportements pourraient repartir dans l’autre sens, vers un web sélectionné par le bouche-à-oreille.
    • Au lycée, je faisais de la rédaction SEO, et les sorties de ChatGPT sont à peu près du même niveau que les textes que je produisais alors. L’idée était de placer certains mots-clés et d’écrire des articles informatifs superficiels, vaguement liés à ce qu’on voulait vendre.
      Avec le temps, cela pourrait créer une sorte d’effet de vortex étrange sur l’intelligence des IA. Aujourd’hui, si l’on pose à ChatGPT une question de type Stack Overflow, on obtient immédiatement une réponse de type Stack Overflow, mais la véracité et l’exactitude relèvent presque du pari. Si, à l’avenir, les gens s’y fient davantage et publient moins sur Stack Overflow, le puits d’informations dont l’IA se sert pour apprendre risque de se tarir, ne laissant qu’une boucle gluante parfois correcte. À mesure que la technologie progressera, cela pourrait devenir un problème ; à ce moment-là, elle apprendra peut-être à partir de la documentation technique.
    • Une mauvaise orthographe et une mauvaise grammaire peuvent simplement venir d’un texte écrit par une personne non native.
    • C’est vrai. Je pensais regretter l’Internet d’avant que ClosedAI ne le ruine, mais maintenant j’en suis à vouloir revenir à l’Internet de 2020.
      La recherche sur les LLM me semble susceptible de provoquer l’effondrement de la société de plusieurs manières. Un ami fait un master et tout le monde rédige ses réponses avec ChatGPT ; la façon de rester politiquement prudent puis de résumer à la fin est tellement évidente. J’aimerais juste qu’ils soient exclus.
  • Je suis d’accord avec le titre, mais je ne pense pas qu’Internet ait beaucoup changé par rapport à l’avant GPT-4, 3 ou 2. Les textes écrits sur des sujets généraux par des stagiaires ou des assistants virtuels indiens étaient eux aussi, pour la plupart, aussi mauvais que les contenus générés par IA et pas faciles à distinguer.
    Le fait que les moteurs de recherche actuels classent les résultats en privilégiant l’autorité plutôt que la correspondance entre la requête et le texte des pages web n’aide pas non plus. Les gens n’utilisent plus tellement le web ; ils vivent dans des apps, et quand ils consultent des pages web sur leur téléphone, c’est surtout lorsqu’ils « googlent » une question. Même là, ils ne vont généralement pas à plus d’un niveau de profondeur avant de revenir à l’expérience applicative.
    Le web est médiocre depuis longtemps et il s’est encore dégradé, mais il pourrait bientôt ne plus avoir beaucoup d’importance. Le lecteur était une grenouille dans une eau qui chauffait lentement ; maintenant que la température a brusquement augmenté, il se rend compte de la situation.
    Pour que le « web » subsiste à l’avenir, je pense qu’il devra non seulement migrer vers une nouvelle couche d’anonymisation, mais aussi exiger des échanges monétaires fréquents afin de rendre difficile la génération massive de contenus de faible qualité. Si 90 % du grand public ne veut pas payer, qu’il continue à manger les restes. J’utilise la métaphore de la grenouille qui cuit pour dire que la quantité de spam a fortement augmenté.

    • Je suis entièrement d’accord. Les spammeurs SEO ont déjà ruiné le web public il y a quelques années, et Google a fait tout son possible pour leur faciliter la tâche au nom des revenus publicitaires.
    • Tu passes à côté de la variable clé : la quantité. Il y avait déjà des contenus produits par des stagiaires ou sous-traités, mais c’étaient tout de même des déchets produits par des humains qui y consacraient du temps.
      Désormais, le facteur qui limitait la quantité de ces déchets a disparu.
    • Le contenu du web se déverse dans les réseaux sociaux, l’actualité et les livres électroniques devenus des « livres », créant un vortex intangible d’informations manipulées.
      Quand les eaux usées entrent dans le réseau d’eau potable, plus personne n’est en sécurité. On ne peut pas se rassurer sous prétexte qu’on utilise un robinet éloigné de la source.
    • Je suis d’accord pour dire qu’il y a toujours eu du contenu de mauvaise qualité. Mais le problème aujourd’hui, c’est l’ampleur des informations trompeuses qu’il est possible de générer.
      Leur volume a augmenté, ou continue d’augmenter, si bien qu’il est désormais beaucoup plus difficile de trouver quelque chose de légitime et de correctement fait. Bonne remarque sur les apps.
    • Je me demande à quel point la prochaine génération d’IA pourra devenir efficace pour sélectionner le web.
      Que se passerait-il si tous les éditeurs étaient automatiquement évalués par l’IA, sur des horizons d’un, deux ou cinq ans, en matière de capacité prédictive, de biais et d’exactitude factuelle ?
  • Je n’aurais jamais pensé dire ça, mais vu l’état précaire du clearnet, le fait que toutes les informations soient siloïsées dans Discord ne semble pas si mauvais. Si ce n’est pas indexé par les moteurs de recherche, cela a très peu de chances d’apparaître à côté de résidus d’IA ou d’être utilisé comme données d’entraînement.
    L’avenir d’Internet, au bout du compte, ce sont les humains. Les machines ne sont même plus fiables pour les tâches de base qu’elles faisaient autrefois correctement, et en choisissant d’être incapables d’accomplir des tâches complexes, elles ont aussi sacrifié l’efficacité sur les tâches de base.

    • La dynamique fondamentale qui ruine toutes les technologies, c’est la commercialisation excessive. À notre époque, la publicité a complètement détruit les incitations d’Internet, en particulier du Web.
      À l’ère du commerce de détail en ligne, les transactions et les modèles économiques étaient transparents, mais dans l’économie de la publicité et de l’attention en arrière-plan, ils deviennent flous et déformés. En pratique, tous les participants conspirent pour monétiser le temps libre et l’attention des gens, les pousser à consommer et les divertir jusqu’à les épuiser.
      Je suis entré chez Google en 2010 et j’en suis parti en 2019 ; en 2010, le chiffre d’affaires annuel était d’environ 30 milliards de dollars, et l’an dernier il était de 300 milliards. Depuis sa création, l’entreprise a maintenu assez régulièrement une croissance annuelle de 20 %, donc pour atteindre cela en 2024, il lui faudrait 60 milliards de dollars de nouveaux revenus. Cela revient à devoir trouver en un an l’équivalent du chiffre d’affaires de deux Google de 2010, alors qu’il a fallu 12 ans pour bâtir le Google de 2010 ; c’est absurde.
    • Je suis fermement en désaccord. Depuis longtemps, je réponds en ligne à des questions liées à l’immigration, et il arrive souvent que des gens commentent des fils vieux de plusieurs années ou me posent en privé des questions à leur sujet. Autrement dit, le contenu public aide beaucoup de gens au fil du temps.
      À l’inverse, le contenu des groupes Facebook privés a une durée de vie de quelques jours tout au plus. Si l’objectif est de partager des connaissances utiles avec le public le plus large possible, les groupes Discord sont une énorme régression.
    • Si Discord commence à vendre ces données à des entreprises d’IA, ça ne change pas la donne ?
    • Je ne vois pas le rapport entre l’utilisation comme données d’entraînement et ce problème. L’enjeu central, c’est la capacité à distinguer les résidus d’IA des informations exactes.
    • Discord est aussi consultable par recherche : https://www.answeroverflow.com/
  • La sortie, c’est l’authenticité, et seul le contenu signé peut l’apporter. On ne peut rien prendre pour argent comptant : tout peut avoir été généré ou falsifié.
    Quand n’importe qui peut publier n’importe quoi, et que l’IA publie encore plus au point de submerger les humains, il faut s’appuyer sur la réputation et l’authenticité pour savoir qui a produit quoi et ce qui est dit, afin de pouvoir filtrer. Le web of trust a déjà été tenté, mais il n’a jamais vraiment quitté son coin associé aux marginaux à chapeau en aluminium. Il est peut-être temps de réessayer.

    • Le contenu signé ne garantit absolument pas que le contenu a été écrit ou édité par un humain. À cause du risque de vol de clé, il ne garantit même pas que la personne signataire l’a réellement publié.
      Vérifier l’authenticité d’un contenu numérique est impossible physiquement, philosophiquement et techniquement. À la frontière entre le monde analogique et le monde numérique, il sera toujours possible de tricher.
      C’est aussi pour cette raison que la blockchain n’a pas réussi à s’imposer dans la certification des chaînes d’approvisionnement. On peut vérifier qu’un hash valide est associé à l’article nº 523, mais on ne peut pas prouver que ce hash s’applique bien au véritable article nº 523, et non à un faux.
    • À mon avis, le vrai enjeu, ce sont les systèmes d’identité vérifiables. Si des systèmes d’identité prenant en charge l’attestation arrivent en force, peu importe que l’IA produise des résultats de qualité ou de la pure ordure en masse.
      Dans le second cas, ce serait une grande victoire pour les propriétaires de plateformes comme Apple, Google et Microsoft (via TPM), parce qu’ils peuvent prouver qu’un utilisateur « n’est pas un bot ». Dans cinq ans, il ne serait pas surprenant qu’il faille avoir une relation avec l’un de ces trois acteurs pour participer de façon significative en ligne.
      Même si l’IA « échoue », il y aura une raison de continuer à la pousser : cela permettrait de faire basculer une part importante des internautes vers un modèle d’abonnement à l’identité et à l’attestation. Si vous ne payez pas, votre contenu sera par défaut considéré comme du déchet généré et ne sera pas mis en avant.
      Côté entreprises, on pourrait voir apparaître une structure qui ferait presque passer les anciens systèmes SSL et de signature de code pour de la philanthropie. On pourrait appliquer quelque chose comme BIMI à tout contenu publié, avec une facturation à l’acte. Il pourrait aussi y avoir une discrimination tarifaire du type : plus vous payez, plus vous êtes « fiable ». Au final, je crains que l’identité et l’authentification des services publics ne passent aux mains d’entreprises privées comme Google ou Apple, et que l’identité réelle soit liée à leurs attestations.
      1. https://www.w3.org/TR/webauthn/#sctn-defined-attestation-for...
      2. https://bimigroup.org/
    • Je suis sincèrement curieux : en quoi cela résout-il le problème ? Je peux générer une tonne de textes médiocres, puis les signer et les publier.
      Même si des acteurs comme Apple ou Google fournissent des services d’attestation des utilisateurs, il reste possible de générer automatiquement des déchets IA et de les signer, non ?
    • Si la sortie, c’est l’authenticité, il semble que bon nombre de platistes croient vraiment à ce qu’ils disent, avec beaucoup d’authenticité.
    • Le plus fou, c’est que Jaron Lanier disait déjà ça il y a 20 ans, voire même avant.
  • Les contenus générés par les LLM n’ont fait qu’accélérer un vieux problème. Google s’est fortement orienté vers l’augmentation de ses revenus publicitaires et de sa domination dans l’ad tech, tandis que le SEO a proliféré dans l’ensemble des résultats de recherche : LMGTFY est mort.
    De nos jours, il est assez difficile d’obtenir des informations factuelles non biaisées avec une simple requête bien lisse, donc on essaie d’abord de chercher l’information sur Reddit. Ce n’est pas non plus une panacée, et ces dernières années la plateforme a été remplie de contenus promotionnels déguisés, mais les vieux fils datant de l’époque où Reddit était moins populaire et plus difficile à manipuler, ou les fils de petites communautés, sont généralement un bon choix.

    • J’ai fini par passer à Kagi après avoir vu que Google était incapable de trouver la page de documentation d’une classe ThreeJS, quel que soit le mot-clé. Il fallait coller l’URL même de la page pour qu’elle apparaisse en tête des résultats.
      Kagi l’a trouvée du premier coup avec seulement le nom de la classe. La recherche payante est la voie à suivre, et les incitations publicitaires entrent en conflit avec la recherche. J’ai défini Kagi comme recherche par défaut dans la barre d’adresse, et c’est très bien.
    • Il faut toujours garder en tête que Google Search ne fournit pas des résultats de recherche : il génère une page sophistiquée adaptée à la bulle de l’utilisateur. Facebook comme Twitter font la même chose, seuls les algorithmes diffèrent.
      Google Search ne renvoie pas les mêmes résultats à tout le monde pour une même requête. C’est différent des moteurs de recherche historiques comme AltaVista, ou d’ElasticSearch, et même si on l’appelle encore moteur de recherche, c’est une raison suffisante pour ne pas le traiter comme tel. Cela ressemble davantage à un mur de baratin personnalisé pour la publicité ciblée.
    • Vous pensez vraiment que les spammeurs n’utilisent pas l’IA pour poster sur Reddit en ce moment ?
  • Je suis assez vieux pour me souvenir de l’époque où Internet était rempli de merde bio.

    • Les humains sont les générateurs de bullshit originels. L’IA ne fait que faire ce que les humains ont toujours fait.
    • Il est temps d’abandonner Google et de revenir aux webrings.
    • De nos jours, il existe aussi des vendeurs de bullshit bio artisanal, mais c’est cher.
    • Vous parlez du spam de réponses générées en raclant Stack Overflow ? Ce n’était pas vers l’an dernier ? Maintenant, j’utilise à peine Google et je demande simplement à Bing Chat.
    • Les conneries écrites par des humains ont au moins le mérite d’être drôles.
  • Au bout du compte, la publicité existe pour gagner de l’argent, et tant que les bots n’auront pas de cartes de crédit, cet argent viendra des humains. Si, dans un domaine, l’« engagement » ou le trafic augmente soudainement sans se convertir en dépenses humaines, des entreprises comme Google finiront par le voir dans leur compte de résultat.
    Google commencera à réagir quand ce problème apparaîtra suffisamment nettement dans son budget. Les licenciements dans la tech dont on entend parler dans plusieurs entreprises, ainsi que l’histoire sur Google dans un autre fil HN aujourd’hui, pourraient être des signaux qui montrent d’où vient le vent.

    • L’IA ne consomme pas du contenu, elle en génère. Si les gens se laissent facilement piéger par des pubs ou des contenus créés par IA pour des produits faux ou de mauvaise qualité, cela continuera à pousser le chiffre d’affaires de Google vers le haut.
      La seule raison pour laquelle Google déteste la manipulation SEO, c’est que des sites peuvent occuper les premières places de la recherche sans promotion payante ; la qualité des produits n’a aucune importance.
      Le problème n’apparaîtra que lorsqu’une crise de confiance surviendra : après s’être trop souvent fait avoir par de mauvais produits, les gens ne feront plus confiance aux sites ou résultats de recherche auxquels ils croyaient auparavant. À cause de mon travail, je vois beaucoup de pubs pour des médicaments du marché gris sur Instagram ; je les ignore parce que je sais qu’ils ne sont pas validés par la FDA et que la plupart sont des médicaments frauduleux ou des produits chimiques de recherche déguisés en Amanita Muscaria ou en Delta-8 THC.
    • Google peut s’en rendre compte, mais comme ce n’est pas Google qui cesse de recevoir l’argent que les humains ne dépensent plus, il n’a pas d’incitation à payer pour l’empêcher.
      Les entreprises qui font de la publicité sur Google peuvent ressentir la baisse du retour sur investissement publicitaire, mais comme la plupart estiment ne pas avoir d’autre choix, il faudra du temps avant qu’elles quittent Google. Si l’on attend que cela touche le compte de résultat de Google, j’ai peur de voir ce que sera devenu Internet.
    • Vous semblez avoir une vision beaucoup trop indulgente des dépenses en ad tech. Les plus gros acteurs font déjà directement ce genre de choses.
    • Point de vue intéressant, mais Google ne sera pas touché tant que les annonceurs ne concluront pas qu’ils gaspillent leur argent dans la publicité en ligne.
      Certains sujets devraient déjà s’être taris, mais il se peut que la fraude alimente la machine publicitaire dans ces domaines. Pour le fitness ou la perte de poids, Google est quasiment inutilisable. En faisant des travaux de rénovation, j’ai aussi découvert que les matériaux de construction, en particulier la peinture, étaient devenus impossibles à rechercher. Au final, aller en magasin et demander conseil était le seul moyen d’obtenir des informations et recommandations fiables.
      Google fonctionne encore dans beaucoup de domaines, mais ce qu’il fait vraiment bien, ce sont les annonces de produits. Si vous voulez acheter quelque chose, le moteur publicitaire de Google vous le trouvera ; il faut simplement savoir exactement ce que vous cherchez.
    • Pourquoi cela ne mènerait-il pas à des dépenses humaines ? Si la publicité est réelle et que les visiteurs sont réels, peu importe que le contenu soit réel.
      Au contraire, plus la page est générique et ennuyeuse, plus les gens peuvent être susceptibles de cliquer sur les publicités.
  • Même avant la prise de contrôle par l’« IA », c’était déjà rempli de bullshit généré par des humains sous la contrainte du SEO ; on n’a donc pas vraiment perdu grand-chose ces dernières années. Je suis dans le secteur depuis bien plus de dix ans, et je le dis depuis presque aussi longtemps.

    • Si c’est vrai, alors toute l’actualité et toute l’histoire des dix dernières années relèvent aussi du bullshit généré par des humains. Je ne dis pas que c’est faux, mais il faut aller jusqu’au bout des conséquences de ce qu’on croit.
  • Il n’y a pas de différence. La recherche Web est déjà inutile depuis plus de quinze ans. Aujourd’hui, c’est juste un tout petit peu pire qu’avant, alors qu’avant, quand on posait une question, le premier résultat était déjà rempli de pages marketing, ou bien menait à des déchets marketing superficiels sous forme de « blog ».
    Je n’ai pas envie de confier la réponse à une question du type comment nettoyer des toilettes à quelqu’un dont le métier est « créateur de contenu » ou « blogueur monétisé ». La seule différence entre l’exemple de l’article et les résultats d’il y a dix ans, c’est que le premier est manifestement faux, tandis que les seconds contenaient des affirmations qu’il aurait fallu plusieurs jours à réfuter si l’on ne travaillait pas dans le domaine.

  • Si vous avez lu Anathem, en tant qu’Ita, filtrer les déchets du Reticulum, c’est de toute façon notre boulot. Maintenant, on a l’impression qu’il faut s’y mettre
    https://en.wikipedia.org/wiki/Anathem
    https://anathem.fandom.com/wiki/Ita
    https://anathem.fandom.com/wiki/Reticulum

    • Cela rappelle un passage d’Anathem où, aux débuts du Reticulum, celui-ci était devenu presque inutilisable, encombré d’informations défectueuses, obsolètes ou franchement trompeuses, si bien que le filtrage des déchets est devenu crucial
      Les entreprises ont délibérément pollué le puits pour vendre des produits capables de filtrer ces déchets, et elles ne produisaient pas des caractères aléatoires, mais des « déchets bien faits » : de beaux documents contenant 100 phrases vérifiables et vraies, plus une phrase subtilement fausse. Au début, il fallait embaucher des gens, mais l’armée s’y est intéressée, le programme « Artificial Inanity » s’est développé, puis s’est propagé au secteur commercial et aux botnets
      J’aime bien Artificial Inanity comme expression pour décrire les LLM
    • Je pensais déjà, il y a presque 25 ans, que c’était l’avenir. Voir le point nº 5 : https://ymlibrary.com/download/Topics/Self/Work-School/Work-...