Toute organisation sociale doit concevoir intentionnellement les frontières entre inclusion et exclusion
StackExchange imposait une barrière de participation trop élevée : il était inclusif pour les utilisateurs de longue date, mais excluant pour les nouveaux dont les questions étaient bloquées, et c’est ainsi que le site a lentement été tué. Il aurait pu survivre comme le meilleur endroit où poser des questions pour ceux qui se méfient de l’IA, mais la direction a poussé l’IA partout sur le site, les faisant eux aussi partir. Même moi, qui avais appris les caprices et les obsessions de la culture SO, j’avais du mal à poser des questions par crainte de la façon dont un utilisateur cherchant à exercer son pouvoir pourrait les interpréter de travers. L’activité est passée d’un pic de 207 000 à 1 226, soit une baisse d’environ 99,41 %
Sous prétexte que les règles protégeaient la qualité des données du site, elles donnaient à des modérateurs arbitraires les outils pour contrôler et exclure les utilisateurs. Tous les modérateurs n’étaient pas comme ça, mais cette culture s’était répandue sur l’ensemble du site, et le résultat était prévisible
Après avoir reçu une formation et des qualifications officielles dans un domaine professionnel sans rapport avec l’informatique, j’ai rédigé sur le SE correspondant des réponses professionnelles, bien sourcées et compréhensibles par le grand public ; en deux semaines environ, je suis devenu l’un des meilleurs contributeurs, et je reçois encore des points pour des réponses vieilles de plus de dix ans. Mais un modérateur amateur, avec peu de connaissances et d’expérience, a commencé à pinailler sur chacune de mes formulations, et j’ai arrêté de participer au bout d’un mois. L’utilité et l’intégrité de la base de connaissances n’ont peut-être pas été préservées, mais l’ego de plusieurs personnes l’a certainement été
L’un des plus grands défauts était la possibilité de fermer des questions comme « doublons ». Il m’est arrivé plusieurs fois que la première question renvoyée par Google soit fermée comme doublon après seulement quelques réponses, et qu’en ouvrant l’original lié, on constate que des différences de contexte essentielles avaient été complètement manquées
Les modérateurs de la fin ne comprenaient même pas que SO était le premier résultat de Google, ni que des milliers de personnes verraient ce rejet malveillant
J’utilise mon compte depuis 2009, et l’une de mes premières réponses a reçu plus de 1 000 votes positifs et environ 10 000 points de réputation, mais quand je posais une question, j’avais droit au même mauvais traitement. Ce n’était pas seulement un problème de nouveaux utilisateurs, et j’ai arrêté de contribuer bien avant l’arrivée de l’IA
Sans contrôle, le site n’aurait pas été différent de Reddit. La ligne d’équilibre a peut-être été franchie, mais j’appréciais le fait que les réponses soient globalement exactes, pratiques et pédagogiques, que le score du site soit devenu un véritable signal de compétence, et que le déblocage progressif des privilèges guide les utilisateurs dans l’apprentissage des façons de participer et de la culture du site
Il m’est même arrivé qu’un CTO chargé du recrutement me reconnaisse parce que j’avais écrit une réponse populaire sur une technologie que nous utilisons. Toutes les cultures ne sont pas bonnes, il est donc important de gérer la culture d’un espace et de l’enseigner aux nouveaux utilisateurs
Je suis arrivé à l’époque de l’âge d’or de Stack Overflow et je l’utilisais uniquement comme un moteur de recherche spécialisé, sans poser de questions ni répondre. Dès qu’un meilleur moyen est apparu, je suis passé à autre chose, et comme je n’ai jamais vraiment ressenti la communauté, les questions fermées de façon bureaucratique me semblaient moins être une trahison qu’une corvée m’obligeant à relancer une recherche
SO a provoqué sa propre chute en décidant qu’il ne voulait pas créer de communauté et que seules les questions-réponses comptaient. Quand de meilleurs moyens d’obtenir des réponses sont apparus, il n’y avait plus de raison de visiter un SO sans communauté, et sa politique interdisant la conversation reste difficile à comprendre
L’idée de base d’exclure la conversation était justement ce qui rendait SO attrayant par rapport aux forums où il fallait chercher une réponse au milieu des blagues, du bavardage et des signatures en GIF animés ; le problème était dans les détails de mise en œuvre
Il fallait de la réputation pour commenter, mais des réponses étaient supprimées au motif qu’« elles devraient être des commentaires » ; des questions étaient fermées trop vite comme doublons alors même que l’équivalence entre les deux situations n’était pas claire, et ainsi de suite : une multitude de petites décisions ont fait fuir les utilisateurs. Par exemple, si le type de données A est un sous-type de B et que la même réponse s’applique, alors cette relation de sous-type est elle-même la réponse, ce n’est pas une question en doublon. S’ils avaient créé un parcours pour nouveaux utilisateurs plus proche d’un forum, afin de les aider à transformer leur demande en bonne question ou à trouver une réponse existante, puis intégré les termes de recherche issus de ce processus dans l’optimisation de la recherche, ils auraient fortement réduit l’hostilité. À la fin, ils ont tenté une forme simple et inférieure appelée « Staging Ground », mais il était déjà trop tard
Même si l’IA a commencé à jouer le rôle d’un nouveau SO pour beaucoup de gens, SO comptait d’excellents contributeurs humains. Plutôt que d’inonder le site d’IA et d’en chasser les humains comme ailleurs, il aurait pu se concentrer sur sa force unique : favoriser de véritables interactions authentiques entre personnes. Mais, pour l’argent, il a choisi de transformer la plateforme en produit
Autrefois, il y avait aussi des questions amusantes et intéressantes auxquelles répondre ou dont discuter, mais très vite il n’est resté que des questions simples et des demandes du type « envoie-moi le code »
Avant, je consultais souvent la page d’accueil de SO pour voir les nouvelles questions de code golf, mais ils ont peu à peu retiré le plaisir du site, par exemple en déplaçant cela vers un forum séparé. Ils semblaient ne vouloir qu’un site pour experts, mais maintenant que même ce dernier bastion a perdu face à l’IA, il n’y a plus de raison d’y aller
Reddit suit le même chemin. Des systèmes de modération IA censés supprimer le contenu généré par IA ont supprimé plusieurs contributeurs majeurs que je suivais dans des communautés de programmation, d’électronique, de bodybuilding, de soudage, d’usinage et d’impression 3D, mais les administrateurs de Reddit ne s’en rendent pas compte
Certains disent qu’avec un fournisseur d’IP résidentielles et OpenClaw, on peut faire suspendre n’importe quel compte via des signalements massifs. Désormais, même si vous écrivez un message utile, il est facile pour quelqu’un de vous accuser d’« IA »
Je suis surpris qu’il y ait si peu de commentaires sur la baisse d’activité commencée avant le lancement de ChatGPT, mais après le rachat de SO par Prosus. Il y avait aussi eu une poussée de croissance suspecte juste avant l’acquisition, et si l’on analyse l’activité jusqu’au lancement de ChatGPT, le changement apparaît clairement
[1] Stack Overflow acquired by Prosus for $1.8 billion: https://techcrunch.com/2021/06/02/stack-overflow-acquired-by...
[2] Prosus to acquire Stack Overflow for US$1.8 billion https://www.prosus.com/news-insights/2021/prosus-to-acquire-...
Il n’est pas nécessaire de considérer la vente comme la cause. La baisse continue est clairement visible depuis 2016 sur le graphique, et ceux qui insistent sur la faute de ChatGPT ignorent commodément plus de cinq années de déclin antérieures
Heureusement qu’ils ont réalisé leur plus-value de cession au bon moment
L’interprétation selon laquelle l’IA n’a fait qu’accélérer un déclin déjà en cours est plus intéressante
Si la poussée de croissance désigne le milieu de 2020, il vaut aussi la peine de se rappeler l’autre événement majeur survenu à cette période
En ouvrant Stack Overflow, un message indiquait : « Un nombre anormalement élevé de requêtes a été détecté depuis cette adresse IP, et le débit a été temporairement limité. » C’est aussi l’un des effets de l’IA sur Internet.
Un LLM ne m’a jamais traité comme un idiot parce que je n’avais pas trouvé une question déjà répondue. SO a creusé sa propre tombe.
Beaucoup de gens y ont vécu des expériences négatives, mais j’ai aussi eu des moments très positifs. Un inconnu sur Internet prenait le temps de comprendre ma question et proposait une excellente solution à ce qui me bloquait ; alors que je travaillais seul sur un projet, cela me donnait de l’encouragement et un sentiment de lien social.
Maintenant que les LLM donnent des réponses rapidement, ce lien humain agréable me manque.
Les LLM peuvent aussi donner une mauvaise réponse avec assurance et me faire perdre trois heures à résoudre un problème secondaire. Je n’ai jamais créé de compte SO ni posé ou répondu à des questions, mais j’y ai trouvé plusieurs fois la réponse dont j’avais besoin, ce qui m’a permis de reprendre immédiatement mon travail.
La suppression des doublons est un processus de sélection qui évite que les résultats de recherche soient noyés sous 100 réponses identiques. Avoir l’impression d’avoir été traité comme un idiot relève d’une perception de soi irrationnelle ; l’intention réelle était probablement plutôt de dire que l’on refilait paresseusement le travail aux modérateurs.
Des questions qui ne se ressemblaient qu’en apparence, mais étaient conceptuellement très différentes, étaient quand même fermées comme doublons. Même en précisant qu’on avait déjà cherché et en ajoutant des indices montrant qu’elle différait réellement d’une autre question apparemment similaire, on risquait surtout de recevoir deux commentaires et environ 2 votes négatifs.
Le vrai sommet du graphique se situe en 2014, dix ans avant que l’IA ne décolle vraiment, alors que le nombre d’ingénieurs logiciel a fortement augmenté entre-temps.
Stack Overflow était la dernière forme de ces anciens forums de questions-réponses idéalisés où il fallait gagner des badges avant d’être respecté. Heureusement, les nouveaux projets disposent aujourd’hui d’une bien meilleure documentation et de meilleurs issue trackers, et l’IA semble désormais pouvoir aussi les exploiter.
Au début, il y avait beaucoup de questions de débutants élémentaires à poser, et leurs réponses continuaient d’être pertinentes dans les résultats de recherche ; il est donc naturel qu’avec le temps, le nombre de questions pertinentes encore sans réponse ait diminué, tout comme le nombre de nouvelles questions.
L’effondrement en ville fantôme est frappant, mais il est difficile de tout imputer à l’IA. La structure de récompense de SO ne fonctionnait que tant qu’il restait des questions auxquelles répondre pour se sentir intelligent ; une fois cette source tarie, il ne restait plus que des choses qu’une IA pouvait traiter avec un seul prompt. Paradoxalement, l’IA a pu prendre de l’avance en aspirant SO.
Wikipedia a évolué de manière similaire, mais en se transformant en une sorte de dictature féodale de geeks qui avaient formellement l’impression de décider de ce qui est vrai, elle leur a donné une raison de continuer à participer. SO n’avait pas le même levier pour les retenir.
Les questions qui valent la peine qu’on y réponde existent toujours. Simplement, comme SO avait déjà chassé les gens qui voulaient poser des questions avant ChatGPT, elles n’y sont plus publiées.
La description d’une dictature féodale de geeks décidant de ce qui est vrai ressemble à la manière dont le monde académique fonctionne depuis la nuit des temps.
Il fut un temps où l’on mettait même un lien SO et son score de réputation sur son CV ; le monde a beaucoup changé.
Si l’on superpose au graphique une courbe d’adoption de l’IA, le scepticisme envers l’idée d’accuser uniquement l’IA paraît justifié.
J’ai lu Coding Horror et je programme depuis plus longtemps que l’Internet très haut débit n’existe, mais je n’ai jamais eu envie de créer un compte Stack Overflow. Je n’ai même jamais vraiment parcouru le site directement : j’y arrivais toujours depuis Google, trouvais la réponse, puis repartais.
Il y a eu une époque où l’on pensait que les opérateurs résoudraient tous les problèmes des communautés en ligne, mais on a fini par comprendre que les gens qui aiment jouer aux petits bureaucrates pour de la réputation virtuelle repoussent les utilisateurs ordinaires. C’était particulièrement grave dans les espaces qui, comme Reddit, cherchaient à maintenir un certain niveau de qualité au lieu de s’aligner sur le plus bas dénominateur.
La politique semble tout gâcher. Les geeks ont un temps pensé qu’ils transcendaient la politique, avant de réaliser que ce n’était pas le cas. Ici, la politique est un autre nom de la théorie des jeux appliquée aux humains.
SO semble être en déclin depuis 2017. Des alternatives utiles comme Reddit, Discord et les forums web ont commencé à peser sur SO après 2014-2015, et l’IA ressemble plutôt au coup de grâce qui met fin à la souffrance.
Le graphique montre le nombre de questions, donc il devait forcément finir par saturer à un moment. 90 % du contenu avait déjà reçu une réponse, et la plupart des nouvelles questions viennent de nouveaux frameworks.
Pour beaucoup de problèmes, il était plus logique de les poser directement dans l’issue tracker du projet GitHub concerné.
En ouvrant Stack Overflow, le site indiquait être en maintenance ; après actualisation, il m’a dit qu’il y avait trop de requêtes et a bloqué mon IP. SO devrait faire mieux que ça.
1 commentaires
Avis de Hacker News
Toute organisation sociale doit concevoir intentionnellement les frontières entre inclusion et exclusion
StackExchange imposait une barrière de participation trop élevée : il était inclusif pour les utilisateurs de longue date, mais excluant pour les nouveaux dont les questions étaient bloquées, et c’est ainsi que le site a lentement été tué. Il aurait pu survivre comme le meilleur endroit où poser des questions pour ceux qui se méfient de l’IA, mais la direction a poussé l’IA partout sur le site, les faisant eux aussi partir. Même moi, qui avais appris les caprices et les obsessions de la culture SO, j’avais du mal à poser des questions par crainte de la façon dont un utilisateur cherchant à exercer son pouvoir pourrait les interpréter de travers. L’activité est passée d’un pic de 207 000 à 1 226, soit une baisse d’environ 99,41 %
Après avoir reçu une formation et des qualifications officielles dans un domaine professionnel sans rapport avec l’informatique, j’ai rédigé sur le SE correspondant des réponses professionnelles, bien sourcées et compréhensibles par le grand public ; en deux semaines environ, je suis devenu l’un des meilleurs contributeurs, et je reçois encore des points pour des réponses vieilles de plus de dix ans. Mais un modérateur amateur, avec peu de connaissances et d’expérience, a commencé à pinailler sur chacune de mes formulations, et j’ai arrêté de participer au bout d’un mois. L’utilité et l’intégrité de la base de connaissances n’ont peut-être pas été préservées, mais l’ego de plusieurs personnes l’a certainement été
Les modérateurs de la fin ne comprenaient même pas que SO était le premier résultat de Google, ni que des milliers de personnes verraient ce rejet malveillant
Il m’est même arrivé qu’un CTO chargé du recrutement me reconnaisse parce que j’avais écrit une réponse populaire sur une technologie que nous utilisons. Toutes les cultures ne sont pas bonnes, il est donc important de gérer la culture d’un espace et de l’enseigner aux nouveaux utilisateurs
SO a provoqué sa propre chute en décidant qu’il ne voulait pas créer de communauté et que seules les questions-réponses comptaient. Quand de meilleurs moyens d’obtenir des réponses sont apparus, il n’y avait plus de raison de visiter un SO sans communauté, et sa politique interdisant la conversation reste difficile à comprendre
Il fallait de la réputation pour commenter, mais des réponses étaient supprimées au motif qu’« elles devraient être des commentaires » ; des questions étaient fermées trop vite comme doublons alors même que l’équivalence entre les deux situations n’était pas claire, et ainsi de suite : une multitude de petites décisions ont fait fuir les utilisateurs. Par exemple, si le type de données A est un sous-type de B et que la même réponse s’applique, alors cette relation de sous-type est elle-même la réponse, ce n’est pas une question en doublon. S’ils avaient créé un parcours pour nouveaux utilisateurs plus proche d’un forum, afin de les aider à transformer leur demande en bonne question ou à trouver une réponse existante, puis intégré les termes de recherche issus de ce processus dans l’optimisation de la recherche, ils auraient fortement réduit l’hostilité. À la fin, ils ont tenté une forme simple et inférieure appelée « Staging Ground », mais il était déjà trop tard
Certains disent qu’avec un fournisseur d’IP résidentielles et OpenClaw, on peut faire suspendre n’importe quel compte via des signalements massifs. Désormais, même si vous écrivez un message utile, il est facile pour quelqu’un de vous accuser d’« IA »
Je suis surpris qu’il y ait si peu de commentaires sur la baisse d’activité commencée avant le lancement de ChatGPT, mais après le rachat de SO par Prosus. Il y avait aussi eu une poussée de croissance suspecte juste avant l’acquisition, et si l’on analyse l’activité jusqu’au lancement de ChatGPT, le changement apparaît clairement
[1] Stack Overflow acquired by Prosus for $1.8 billion: https://techcrunch.com/2021/06/02/stack-overflow-acquired-by...
[2] Prosus to acquire Stack Overflow for US$1.8 billion https://www.prosus.com/news-insights/2021/prosus-to-acquire-...
En ouvrant Stack Overflow, un message indiquait : « Un nombre anormalement élevé de requêtes a été détecté depuis cette adresse IP, et le débit a été temporairement limité. » C’est aussi l’un des effets de l’IA sur Internet.
Un LLM ne m’a jamais traité comme un idiot parce que je n’avais pas trouvé une question déjà répondue. SO a creusé sa propre tombe.
Maintenant que les LLM donnent des réponses rapidement, ce lien humain agréable me manque.
Le vrai sommet du graphique se situe en 2014, dix ans avant que l’IA ne décolle vraiment, alors que le nombre d’ingénieurs logiciel a fortement augmenté entre-temps.
Stack Overflow était la dernière forme de ces anciens forums de questions-réponses idéalisés où il fallait gagner des badges avant d’être respecté. Heureusement, les nouveaux projets disposent aujourd’hui d’une bien meilleure documentation et de meilleurs issue trackers, et l’IA semble désormais pouvoir aussi les exploiter.
L’effondrement en ville fantôme est frappant, mais il est difficile de tout imputer à l’IA. La structure de récompense de SO ne fonctionnait que tant qu’il restait des questions auxquelles répondre pour se sentir intelligent ; une fois cette source tarie, il ne restait plus que des choses qu’une IA pouvait traiter avec un seul prompt. Paradoxalement, l’IA a pu prendre de l’avance en aspirant SO.
Wikipedia a évolué de manière similaire, mais en se transformant en une sorte de dictature féodale de geeks qui avaient formellement l’impression de décider de ce qui est vrai, elle leur a donné une raison de continuer à participer. SO n’avait pas le même levier pour les retenir.
J’ai lu Coding Horror et je programme depuis plus longtemps que l’Internet très haut débit n’existe, mais je n’ai jamais eu envie de créer un compte Stack Overflow. Je n’ai même jamais vraiment parcouru le site directement : j’y arrivais toujours depuis Google, trouvais la réponse, puis repartais.
Il y a eu une époque où l’on pensait que les opérateurs résoudraient tous les problèmes des communautés en ligne, mais on a fini par comprendre que les gens qui aiment jouer aux petits bureaucrates pour de la réputation virtuelle repoussent les utilisateurs ordinaires. C’était particulièrement grave dans les espaces qui, comme Reddit, cherchaient à maintenir un certain niveau de qualité au lieu de s’aligner sur le plus bas dénominateur.
SO semble être en déclin depuis 2017. Des alternatives utiles comme Reddit, Discord et les forums web ont commencé à peser sur SO après 2014-2015, et l’IA ressemble plutôt au coup de grâce qui met fin à la souffrance.
En ouvrant Stack Overflow, le site indiquait être en maintenance ; après actualisation, il m’a dit qu’il y avait trop de requêtes et a bloqué mon IP. SO devrait faire mieux que ça.