Le déclin de Stack Overflow

 (observablehq.com)
1 points par GN⁺ 2023-07-25 | 1 commentaires | Partager sur WhatsApp
  • Un notebook de données Observable suit, via des séries temporelles, le phénomène d’une baisse d’environ 35 % du trafic de Stack Overflow au cours des 18 derniers mois ; la source des données est stackoverflow.com/site-analytics
  • Initialement mesurée à environ 50 %, cette baisse a ensuite été réévaluée, car environ 15 % de la perte observée semblent liés à une reclassification des cookies Google Analytics vers mai 2022 ; les graphiques ont donc été modifiés pour n’inclure que les données postérieures à ce changement
  • La baisse du trafic se reflète de la même manière dans la diminution d’environ 50 % du nombre de questions et réponses, ainsi que dans la baisse du nombre de votes reçus par les publications
  • Les graphiques expriment l’usage sous forme de moyenne mobile sur 49 jours, et la plage du jeu de données va du 2008-07-31 au 2023-07-23
  • Le corps de l’article est composé de nombreuses cellules de graphiques ; les graphes ne sont pas rendus dans le texte fourni, et seules les valeurs brutes des tableaux pour les trois jeux de données traffic / posts / votes sont consultables

Résumé des principaux changements

  • Baisse d’environ 35 % du trafic de Stack Overflow au cours des 18 derniers mois
    • La mesure initiale indiquait une baisse d’environ 50 %, mais elle a été corrigée
    • Environ 15 % de la perte observée semblent liés à une reclassification des cookies Google Analytics vers mai 2022 (modification où ils sont définis et stockés comme strictly necessary)
    • Les graphiques ont été mis à jour pour ne prendre en compte que les données après ce changement
  • La baisse du trafic se reflète aussi dans les indicateurs d’usage du site
    • Baisse d’environ 50 % du nombre de questions et réponses
    • Baisse également du nombre de votes reçus par ces publications
  • L’usage est représenté dans les graphiques sous forme de moyenne mobile sur 49 jours
  • La source des données est stackoverflow.com/site-analytics

Données de trafic (traffic)

  • Jeu de données traffic_2008Jul31_2023Jul23, d’une taille de 418 lignes
  • Composé d’une date et de trois indicateurs entiers, avec des valeurs allant approximativement de 3M à 22M / 1.5M à 9.5M / 120k à 520k
  • La section affichée commence aux valeurs quotidiennes à partir du 2022-06-01
    • 2022-06-01 → 18,524,758 / 7,945,523 / 351,184
    • 2022-06-14 → 20,002,931 / 8,485,223 / 390,082
    • Certaines dates comme 2022-06-04 enregistrent des valeurs plus basses, autour de 6,346,105, par rapport aux jours de semaine

Données des publications (posts)

  • Jeu de données posts_2008Jul31_2023Jul23, d’une taille de 1,992 lignes
  • Composé d’une date et de trois colonnes entières, avec des valeurs allant approximativement de 4k à 23k / 2k à 12k / 1.5k à 12k
  • La section affichée commence aux valeurs quotidiennes à partir du 2018-02-08
    • 2018-02-08 → 21,397 / 10,148 / 11,249
    • 2018-02-22 → 21,631 / 10,356 / 11,275

Données des votes (votes)

  • Jeu de données votes_2008Jul31_2023Jul23, d’une taille de 1,991 lignes
  • Composé d’une date et de quatre colonnes entières, avec des valeurs allant approximativement de 400 à 3,600 / 10k à 75k / 10k à 65k / 2,000 à 9,500
  • La section affichée commence aux valeurs quotidiennes à partir du 2018-02-08
    • 2018-02-08 → 3,347 / 65,834 / 57,278 / 8,556
    • 2018-02-21 → 3,206 / 66,063 / 57,693 / 8,370

À lire aussi

1 commentaires

 
GN⁺ 2023-07-25
Avis sur Hacker News

  • Ces chiffres montrent une baisse brutale et durable du trafic sur quelques jours en mai 2022. Les nouvelles visites quotidiennes sont passées d’environ 1 million à 300 000, les pages vues quotidiennes totales d’environ 20 millions à 14 millions, et les sessions quotidiennes de 9,4 millions à 6,1 millions
    Pourtant, sur la même période, le nombre de publications et de votes n’a pas connu de baisse correspondante, et est resté relativement stable, hors variations saisonnières, jusqu’à leur chute brutale en février 2023. Les données de trafic viennent de Google Analytics, tandis que les données sur les publications/votes proviennent de calculs internes à StackOverflow, donc la chute soudaine de mai 2022 pourrait n’être qu’un artefact de mesure dû à un changement brutal dans la façon dont Google Analytics suit le trafic/les visiteurs
    https://i.imgur.com/qMj7Lge.png
    https://news.ycombinator.com/item?id=36856249

    • En lisant les commentaires de cette réponse https://meta.stackexchange.com/a/391625/136010, on voit que même des employés semblent d’accord avec l’idée que le changement de mai 2022 vient du déploiement d’un vrai formulaire de consentement aux cookies. Sans cookie de performance, SO ne peut pas produire correctement ses données d’analyse
      L’employée Catija a aussi répondu : « Entre avril et mai 2022, le chiffre du “trafic” a baissé de 40 millions par semaine, et c’est à ce moment-là que le suivi par cookie a changé. Ensuite, jusqu’en décembre, c’est revenu à la normale. Avant ce changement des cookies, le trafic tournait autour de 140 à 150 millions par semaine. Mais nous le savons et nous avons procédé à des “corrections”. »
    • Une chute de ce genre vient généralement d’un changement dans le suivi des bots, d’une modification de l’algorithme de Google, ou d’un gros changement d’architecture interne
    • C’est plausible. Les « nouvelles visites » désignent des utilisateurs qui arrivent pour la première fois, probablement de jeunes développeurs cherchant une réponse via un moteur de recherche. Ils trouvent ce qu’ils veulent sur Stack Overflow, cliquent peut-être sur une pub, puis repartent
      Il est peu probable qu’ils votent ou publient souvent, donc une baisse soudaine pourrait vouloir dire qu’il est arrivé quelque chose de très mauvais au trafic organique. Un changement chez Google, une nouvelle stratégie SEO catastrophique, l’arrêt des achats de publicité, ce genre de choses. La proportion de nouveau contenu diminuait déjà à un rythme morose et constant depuis longtemps, mais les premiers mois de 2023 ont été particulièrement graves
    • Ou bien des sites qui ont aspiré le contenu de StackOverflow ont capté les utilisateurs qui voulaient juste une solution rapide, tandis que ceux qui avaient déjà un compte SO continuaient à publier et à voter
    • C’était peut-être aussi le pic d’adoption de GitHub Copilot ce mois-là. Si je me souviens bien, l’extension VS Code est sortie fin mars

  • Sur les questions auxquelles il n’existait pas déjà de réponse sur SO, ce qui m’a le plus aidé était justement leur rigueur. Le processus qui consiste à écrire une question de qualité, avec un exemple minimal reproductible, une démarche claire et ce qu’on a déjà essayé, faisait que la plupart du temps le problème se résolvait tout seul avant même de publier

  • Mon compte SO a presque 12 ans et un peu plus de 2 000 de réputation, mais je n’y attache pas beaucoup d’importance. Je réponds encore de temps en temps à des questions de base dans les tags de développement mobile, mais mon seul vrai reproche envers SO, c’est l’hostilité de certains modérateurs très bien classés
    On dirait que certains y prennent plaisir et ont oublié que la réputation ne signifie pas l’expertise. Ils n’ont pas réussi à régler ce problème en 12 ans. J’ai vu tous les jours de nouveaux utilisateurs poster des questions tout à fait valables puis ne plus jamais revenir répondre. Avant, on mettait volontiers des votes positifs même sur des questions simples et basiques, mais ce n’est plus le cas aujourd’hui

    • Avec la généralisation des notifications push, on dirait que les gens ne vont plus directement sur un site pour vérifier leurs notifications. Les nouveaux utilisateurs n’ont peut-être jamais pris l’habitude de revenir sur SO et d’y participer
      Le déclin des forums semble aussi lié à ça. Reddit fonctionne encore parce que l’appli envoie 200 notifications par jour, mais sans ça il ne serait probablement pas aussi populaire aujourd’hui. SO est hostile à la participation si on n’est pas expert, donc du point de vue d’un débutant il n’y a pas grand-chose à faire à part poser une question ou lire sans intervenir. On a l’impression de ne pas être légitime
    • C’est assez ridicule de voir des gens très bien classés se prendre pour jonskeet. La réputation sur Stack Overflow ne veut plus dire grand-chose aujourd’hui, elle est diluée
      Beaucoup de gens ont dépassé les 100 000 de réputation juste en posant ou en répondant à des questions de base sur JavaScript, Python, pandas ou Git

  • Chaque fois que je publiais sur SO ou sur un autre site SE, je devais toujours écrire clairement : « Je sais que A n’est peut-être pas une bonne idée et que B est peut-être une meilleure solution, mais dans mon cas précis, je veux vraiment faire A »
    Et malgré ça, les gens essayaient quand même de fermer la question comme doublon de B

    • Il m’est même arrivé d’ajouter les termes de recherche que j’avais utilisés pour vérifier que ce n’était pas un doublon. D’autres fois, j’expliquais pourquoi ce n’était manifestement pas un doublon. Et malgré tout, c’était fermé comme doublon
    • Les gens passent juste cette partie. Le schéma, c’est : lire le titre, parcourir l’exemple de code, poster une réponse
      Ensuite, si je dis qu’ils ont complètement ignoré ce que j’avais écrit, on me reproche au contraire d’avoir mal formulé ma question et je me fais downvoter. C’est ça, la méthode SO

  • Le problème, c’est que Google semble être en train de perdre la guerre contre les spammeurs. Ça fait déjà un bon moment qu’il faut ajouter stackoverflow à ses requêtes pour éviter les sites de contenu scrapé

    • Google n’est en train de « perdre » aucune guerre. Google laisse délibérément le spam prospérer.
      Ce spam peut embarquer Google Ads/Analytics, et l’engagement augmente quand l’utilisateur clique sur du spam, puis revient à la page de résultats pour essayer autre chose. L’un de ces choix peut même être un résultat sponsorisé. Tout cela contribue aux revenus de Google
    • Je le vois comme ça aussi. Google envoie probablement l’écrasante majorité du trafic de SO.
      Il y a quelques années, quand on faisait une recherche liée à la programmation, Stack Overflow était le premier ou le deuxième résultat. Maintenant, on voit très souvent des déchets spammés dans les 2 ou 3 premières positions
    • Parmi les sites de contenu scrapé, les liens YouTube sont particulièrement pénibles. Honnêtement, je ne serais même pas surpris que des gens deviennent « créateurs de contenu » uniquement grâce aux résultats Google et gagnent pas mal d’argent avec la pub
    • D’après mon expérience, ces sites de scraping sont souvent mieux classés que l’original
    • Ça a beaucoup plus de sens si on considère que Google ne fait plus de recherche, mais qu’il est devenu un moteur de recommandation. Triste, mais vrai

  • J’avais déjà répondu à une question similaire il y a longtemps, mais je ne m’en souvenais pas, et après avoir réécrit une nouvelle réponse en deux minutes, je me suis pris une avalanche de votes négatifs et j’ai quitté SO. Retrouver mon ancienne réponse m’aurait pris bien plus de temps que d’en écrire une nouvelle.
    J’ai dit que la responsabilité de trouver les doublons incombait au poseur de question, pas au répondant, mais on m’a répondu qu’il fallait quand même y consacrer du temps, sinon ne pas répondre du tout

    • Surtout si tu sais que tu as déjà répondu à la même chose auparavant, il faut retrouver la réponse d’origine.
      Tous les utilisateurs sont des modérateurs. Il existe aussi des modérateurs explicites, mais eux ferment ou downvotent moins souvent et gèrent d’autres problèmes. Sur les petits sites, ce sont surtout les utilisateurs ordinaires qui votent et ferment
    • C’est pour ça que la plupart des développeurs préfèrent désormais ChatGPT. C’est bien plus rapide et pratique. C’est comme un moteur de recherche très intelligent.
      SO restera une bibliothèque pour les problèmes qu’on n’a pas encore rencontrés, et c’est un rôle qui lui convient bien à l’origine

  • Pour moi, cet article parle surtout de l’essor de ChatGPT, mais je suis aussi d’accord sur le fait que la surmodération est un gros problème.
    J’ai vécu une expérience pénible en apprenant OpenGL sur gamedev StackExchange. Quand j’étais bloqué, un modérateur a immédiatement classé ma question comme doublon en se basant sur une question similaire à propos d’OpenGL ES, alors qu’OpenGL ES est lié mais reste une API différente. J’ai essayé de contester, mais on m’a ignoré. Peu après, j’ai abandonné un jeu sur lequel je travaillais depuis des années, et la décision de ce modérateur y a aussi contribué. J’avais l’impression qu’il y avait un mur sur le chemin pour obtenir une réponse. La surmodération n’est pas juste un désagrément : elle peut détruire la capacité des utilisateurs à faire avancer leur travail

    • Le graphique de l’article montre que la baisse du trafic a commencé vers mai 2022, quelques mois avant la sortie publique de ChatGPT. La cause semble plus probablement être un changement d’algorithme de Google.
      La plupart du temps, si j’allais sur Stack Overflow, c’était parce que j’avais saisi ma question dans un moteur de recherche
    • Il y a le même problème du côté des gens expérimentés. Il m’arrive de poser des questions avancées sur SO et de vouloir échanger avec d’autres personnes compétentes, mais pour garder ma question ouverte, je dois me battre contre des modérateurs qui ne comprennent manifestement pas ma question

  • Je me souviens avoir essayé d’apprendre le développement frontend vers 2013, et avoir été fasciné par le responsive web design et Twitter Bootstrap. J’ai posé quelques questions sur ce site, j’ai été moqué à plusieurs reprises pour mes questions d’amateur, je n’ai plus jamais réutilisé le site, et au final je n’ai jamais appris le frontend

    • J’ai eu le problème inverse. Il y avait en réalité un domaine que je connaissais plutôt bien, mais je n’avais pas assez de karma pour répondre aux questions, donc je n’ai jamais pu répondre une seule fois
    • Il y a un certain obstacle à l’entrée. Un ami à moi, développeur bien moins compétent que moi, maîtrisait beaucoup mieux la technique SO elle-même. Moi, je me contentais de lurker et de résoudre mes problèmes par moi-même
    • Mon université, en gros, nous balançait un manuel d’informatique en nous disant RTFM. J’ai failli redoubler, mais j’ai fini par apprendre.
      Je n’ai eu que de bonnes expériences sur SO, mais quoi qu’il en soit, j’espère que les gens moins doués ou moins débrouillards que la moyenne ne se laisseront pas décourager

  • Il y a eu l’enfer de la modération, mais la raison principale pour laquelle j’ai arrêté de répondre aux questions sur SO, c’est surtout ça : rédiger une bonne réponse prend du temps, tandis que les réponses rapides en copier-coller récoltent des votes même quand elles sont fausses, et parmi les nombreuses réponses, celle qui choisit la réponse acceptée est généralement la personne qui a posé la question, donc quelqu’un qui n’a souvent pas les connaissances pour en juger
    En plus, il arrive souvent qu’aucune réponse ne soit acceptée, comme si l’auteur de la question ne s’en souciait plus. Il y a longtemps, un billet qui critiquait fortement la gamification de la course aux points SO avait suscité un gros retour de bâton, et SO est resté tel quel au lieu d’essayer de réparer ce système cassé. De la même manière que SO représentait un mouvement de sortie d’Experts Exchange, c’est peut-être le bon moment pour que la communauté lance un site de Q&R post-SO

    • Si tu poses une question idiote sur le framework JS à la mode, tu peux récolter des centaines de votes.
      À l’inverse, si tu réponds sur une partie difficile d’un logiciel quasiment sans documentation, par exemple dans des domaines bas niveau, tu obtiendras au mieux quelques votes. Si ta réponse est acceptée, tu as de la chance. Dans les tags SO difficiles et obscurs, il y a quelques héros méconnus. Ils y consacrent énormément de temps, pour presque aucune récompense. Ce qui viendra après SO devra trouver un moyen de corriger ça

  • Il est difficile de réduire les problèmes ressentis sur Stack Overflow à quelques points, mais en gros c’est ceci. Avant, Google affichait très bien des résultats SO très pertinents, mais à un moment il a cessé de le faire, et la modération de SO est devenue de plus en plus atroce
    J’ai perdu le compte du nombre de fois où j’ai trouvé exactement la question étrange que je cherchais, avec un seul commentaire qui pouvait servir de réponse, puis un modérateur la fermait agressivement pour une raison du genre « hors sujet ». Résultat, la bonne réponse est enfouie dans les commentaires et se fait souvent descendre. À force, il est devenu de plus en plus difficile de filtrer l’information utile au milieu du bruit, et il est plus simple de trouver la solution dans des commentaires GitHub ou sur un blog quelconque

    • Le premier point semble être le plus important. Même si SO peut être horrible aujourd’hui, il y a des années de bonnes réponses accumulées quand le site était encore correct. Alors pourquoi ne les voit-on plus ?
      Le fait que Google recommande aujourd’hui w3schools, ou pire encore geeks4geeks, des fermes à contenu, est toujours pire que Stack Overflow. Je ne sais pas ce que fabrique l’algorithme, mais on dirait clairement qu’il essaie de tuer la recherche Google aussi vite que possible. Même quand on cherche « [langage] [symbole] », se faire envoyer vers ce genre de fermes à contenu au lieu de la documentation tient de la blague. En ce moment, il est vraiment difficile de trouver quoi que ce soit d’utile avec Google
    • Moi aussi, il m’est souvent arrivé de chercher « comment faire X ? » et de tomber sur une question SO qui le demandait. Sauf que les répondants refusaient de répondre tant qu’on n’expliquait pas pourquoi on voulait faire X, puis finissaient par bien expliquer qu’il fallait en réalité faire Y
      Mais moi, j’ai vraiment besoin de X, donc ces réponses ne servent à rien. Ensuite, si je trouve une autre question demandant comment faire X, les modérateurs la ferment en disant que c’est un doublon de la précédente. Même si l’auteur précise « j’ai vraiment besoin de X, donc ce n’est pas un doublon de cette question », elle est quand même fermée
    • Un fil SO typique ressemble à ceci. L’auteur de la question : « Comment faire X avec Y ? » Réponse la plus votée : « Je ne ferais pas X avec Y. Envisagez plutôt Z. Z fait tout ce que Y fait pour X, et en plus ceci et cela »
      Commentaire enfoui sous la réponse la plus votée : « Ce n’est pas la question. Pour faire X avec Y, il faut faire comme ceci. » Et la personne qui a réellement répondu à la question se fait ensuite attaquer dans 10 commentaires parce qu’elle n’a pas suivi l’approche de la réponse la plus votée
    • Personnellement, je pense que l’augmentation de la bonne documentation officielle y est pour beaucoup. Il y a 12 ou 13 ans, à la sortie de SharePoint 2013, je devais construire quelque chose pour SharePoint 2010
      Je n’étais pas développeur SharePoint et c’était une première pour moi, mais j’étais habitué à l’ancienne méthode consistant à lire les manuels ou les spécifications pour comprendre un système. J’avais déjà travaillé sur des formats bitmap, des onduleurs solaires, des logiciels embarqués pour le bâtiment, donc SharePoint aurait dû être simple, mais je n’y serais pas arrivé sans StackOverflow. Quand j’ai dû retravailler sur SharePoint en 2023, la documentation officielle était tellement bonne que je n’avais besoin de rien d’autre. C’est un exemple isolé, mais c’est pareil pour presque tout ce que je touche aujourd’hui. J’ai aussi 10 ans d’expérience en plus, bien sûr, mais je pense que cela tient aussi au fait que le secteur gère bien mieux ses canaux officiels. Quand un problème survient, va-t-on maintenant sur StackOverflow, ou plutôt sur un GitHub issue, par exemple ?
    • Il y a un schéma typique que j’ai vu se répéter sous plusieurs formes. Le titre de la question est très clair : « F dans le contexte X », et le corps dit : « Je ne demande pas F dans le contexte Y, ni libT qu’on peut recevoir selon le standard U. Je demande si F fonctionne pour libS dans le contexte X »
      Pourtant, la réponse A1, avec plus de 100 votes positifs, une prime de 50 et auto-acceptée, dit « ça fonctionne » et donne une longue explication ne couvrant qu’une partie de F sans contexte, pour libS dans le contexte Y. Dans les commentaires, quelqu’un écrit « ce n’est pas la bonne réponse, voir A15 », et un autre se plaint que la justification liée à U dans A15 provient d’un site secondaire, donc n’est pas fiable. A2 à A7 sont des redites de A1, A8 met un lien vers une question dans le contexte Y en disant que c’est un doublon, et A9 à A14 disent « ça fonctionne » avec des exemples de libT, qui se comporte différemment. Seule A15 dit : « La question demande F pour libS dans le contexte X et précise que ce n’est pas Y ; dans le contexte X de libS, cela ne fonctionne pas. La raison est foo », avec des liens vers la documentation, le code source ou des exemples de libS. Puis, quand F dans le contexte X est ajouté à libS en version vN+1, des années plus tard un commentaire apparaît disant « cette réponse est invalide ». Ensuite viennent des réponses aléatoires