La crise de découvrabilité des petits sites web (2021)
(marginalia.nu)- Internet regorge de petits sites web intéressants et singuliers, mais ils sont difficiles à trouver par les grands canaux comme Google ou Reddit, et la recherche dépend largement du hasard
- Même si leurs créateurs ne visent pas un grand succès, recevoir presque aucun trafic en dehors des bots peut décourager, et la baisse des visiteurs entraîne un dead-sea effect où la disparition des sites s’auto-alimente
- RSS et Atom soutiennent l’écosystème des blogs, mais peuvent réduire la diversité du web en forçant toutes les publications à entrer dans le format d’article de blog
- Le flux automatique de liens de Gemini fonctionne à petite échelle, mais sur HTTP, il est difficile à maintenir sans modération forte à cause de l’astroturfing, des clickbaits médiocres et du blogspam
- L’alternative la plus simple consiste à publier chacun sa liste de favoris de sites intéressants, puis à laisser ces listes se relier entre elles pour élargir les chemins de découverte
Les chemins de découverte par lesquels les petits sites web disparaissent
- Internet compte de nombreux petits sites web intéressants, mais il est très difficile de les dénicher réellement
- Ils apparaissent peu sur Google ou Reddit ; on peut en découvrir par hasard avec le moteur de recherche Marginalia, mais ce n’est pas une méthode d’exploration orientée
- Même sans viser un grand succès, une situation où il n’y a presque aucun trafic hormis les bots ordinaires entame la motivation des personnes qui maintiennent ces sites
- Plus le trafic baisse, plus les petits sites web disparaissent ; et moins il y a de sites, plus les visiteurs diminuent encore, créant un dead-sea effect
- RSS et Atom permettent aux blogs de survivre tant bien que mal, mais une structure centrée sur les flux pousse toutes les publications à se conformer au format d’article de blog, ce qui produit un résultat étouffant et homogène
Les limites des flux automatiques et de la découverte centralisée
- Sur Gemini, les flux automatiques de liens comme Antenna fonctionnent assez bien à petite échelle
- Sur HTTP, la même approche a du mal à fonctionner
- L’astroturfing, les clickbaits pauvres et le blogspam affluent
- Les empêcher demande beaucoup de modération, avec des résultats peu satisfaisants
- Les approches centralisées et algorithmiques sont extrêmement vulnérables aux manipulations sur Internet
- Les webrings ont leur charme, mais sont trop aléatoires, et maintenir des annuaires de liens curés ressemble presque à un travail à plein temps
- On pourrait limiter l’accès aux flux automatiques de liens avec un modèle de réseau de confiance (web-of-trust), mais cette structure excluante créerait un autre walled garden et nuirait à la découvrabilité
Une fédération souple par listes de favoris
- Une alternative plus simple consiste à créer et publier chacun une liste de favoris menant vers des sites web intéressants
- Chacun décide de ce qu’il juge intéressant
- Les listes de favoris peuvent pointer vers d’autres listes de favoris, ce qui permet une extension récursive
- Constituer une liste de favoris est amusant, comme tenir un scrapbook, et le résultat est agréable à parcourir
- Si l’on observe un échantillon de sites personnels, très peu pointent vers d’autres sites personnels
- Un hyperlien n’est pas un grand engagement ; si l’on trouve ne serait-ce qu’un petit élément appréciable sur un site web, on peut créer un lien vers lui
- Pour que les petits sites web prospèrent comme une communauté saine, ils doivent se promouvoir mutuellement beaucoup plus qu’aujourd’hui
1 commentaires
Avis de Hacker News
Neocities travaille à améliorer la découvrabilité des petits sites personnels, et le résultat ressemble à une plateforme de création de sites avec des éléments sociaux hybrides : https://neocities.org
J’aime bien appeler ce mouvement le « petit Web » ; d’habitude on parlait de « sites personnels » ou de « pages perso », mais ça ne collait pas tout à fait
J’aimerais que Neocities soit inclus dans la recherche « petit Web » de Kagi ; il y a beaucoup d’excellents sites, et grâce au sitemap compilé, ce serait facile à récupérer : https://neocities.org/browse
En général, ce sujet est présenté comme de la « nostalgie du Web des années 90 » ou comme une « résistance solitaire face à Facebook », mais en réalité il existe du contenu magique qui n’est possible qu’avec le Web comme toile, et qu’on ne trouve pas sur les grandes plateformes de réseaux sociaux
Rien que Neocities sert des centaines de millions de vues par mois sur l’ensemble du site ; les gens surfent donc encore beaucoup sur le Web
Un site personnel peut même être plus avantageux qu’un compte moyen sur les réseaux sociaux pour exposer du contenu. À part quelques comptes chanceux, la plupart voient leur portée organique limitée par des algorithmes étranges
Le classement dans Google Search peut être médiocre, mais les gens partagent des liens un peu partout, y compris dans des canaux privés comme Slack/Discord/IRC/les messageries, et cela permet aussi une diffusion significative
Pour reprendre @izs, « construisez-le et ils viendront » est une citation erronée tirée du film de fantômes de baseball avec Kevin Costner, mais si vous créez un bon site avec du bon contenu, les gens finissent vraiment par le trouver, par des chemins que nous ne comprenons pas encore bien
C’est assez génial de voir à l’avance que certains nouveaux sites de Neocities particulièrement intéressants atteindront organiquement des millions de vues
Presque toutes les entreprises de la bulle dot-com croyaient elles aussi que les phares à la fin de l’histoire représentaient leur justification, alors qu’en réalité c’était une ambulance venue les emmener en hôpital psychiatrique, et la plupart se trompaient
Ces derniers temps, j’ai envisagé de quitter NeoCities parce que je voulais ajouter des éléments dynamiques à mon site, mais d’après mon expérience passée, cela me fait tomber dans un terrier sans fin et je ne fais plus rien
J’ai donc décidé de régler les aspects de Hugo qui me rendaient fou, et je m’y remets
NeoCities a globalement une base d’utilisateurs qui paraît plus jeune, mais j’aime beaucoup
Il y a un fil d’activité, j’aime découvrir les choses étranges que les gens mettent sur leurs sites, et cela ressuscite bien l’esprit de GeoCities
J’adore aussi que quelqu’un ait ressuscité les boutons 88x31, et j’aime bien le backend Sinatra + Sequel
Je me demande s’ils fournissent aussi des métadonnées
Je travaille à rendre le reste du Web plus découvrable aussi, donc ce type de données serait très intéressant
Les réseaux sociaux déclassent les publications contenant des liens externes, et Google déclasse les sites qui ne sont pas mis à jour tous les jours ou qui n’ont même pas SSL activé
Créer un bon site avec du bon contenu demande du temps et des efforts, mais au final ces informations deviennent facilement la matière première de gens qui les répètent en termes plus simples sur des blogs de contenu ou sur les réseaux sociaux
Bien sûr, sans backlinks, et dans le pire des cas ils essaient même de transformer en produit des connaissances publiées gratuitement
Quand cela se reproduit suffisamment, les gens finissent par arrêter de maintenir ce genre de sites
Il n’y a pas si longtemps, tous les blogs avaient une blogroll, une liste des blogs appréciés par l’auteur
Rien n’était aussi gratifiant que de voir son blog figurer dans la blogroll d’un blogueur « connu »
C’est amusant de voir des gens qui n’ont pas connu cette époque des blogs la réinventer spontanément aujourd’hui
Je pense que les blogueurs d’il y a 20 ans avaient déjà compris quelque chose avant d’être tués par le monopole publicitaire
Il y a toutefois une grande différence entre l’ancienne blogosphère et celle d’aujourd’hui. Les anciens blogs avaient de la publicité, et la plupart des blogueurs ont expérimenté d’une manière ou d’une autre
Nous avons été tentés par la monétisation et, ce faisant, nous nous sommes détruits nous-mêmes
Les blogueurs plus jeunes semblent avoir retenu la leçon. Ils recréent les mêmes anciens blogs, mais cette fois sans publicité et en bloquant activement le pistage
À bien y réfléchir, c’est peut-être ainsi que fonctionne l’évolution, et c’est beau
Si l’on aimait ce blog, il y avait de bonnes chances de trouver aussi quelque chose d’intéressant dans sa blogroll
Il existe des sortes de « réseaux publicitaires » qui promeuvent gratuitement divers sites de renaissance du Web : https://wsmz.gay/#misc-bannerlink
J’aime assez, surtout quand cela s’accorde bien avec l’esthétique du site
Une page utilisée comme liste de favoris publique, avec des livres, des articles de blog et des vidéos YouTube : https://mahesh-hegde.github.io/readings/
Mais je n’écris pas beaucoup, et je ne l’ai pas mise à jour depuis longtemps
Dans l’anglais de ma région, ça aurait sonné comme bog roll, c’est-à-dire du papier toilette, donc je m’en serais certainement souvenu
Je comprends que ce genre de textes parte de bonnes intentions, mais j’ai l’impression qu’ils en disent davantage sur les habitudes d’usage d’Internet de certaines personnes que sur Internet lui-même
La plupart des réseaux sociaux ont une section de profil où l’on peut mettre un « site web personnel »
Je trouve beaucoup de ces sites personnels en suivant les profils GitHub de gens à partir de dépôts ou de PR intéressants
Parfois, ces sites renvoient vers d’autres sites, et sur HN aussi je vais voir si les profils de commentateurs intéressants ont un lien vers un site web
Beaucoup d’articles qui arrivent sur HN viennent aussi de sites personnels, et ces sites renvoient souvent à leur tour vers d’autres sites
Si on le voulait, on pourrait faire ça toute la journée et, à mon avis, trouver sans problème plus de choses à lire qu’il n’y a d’heures dans la journée
Du coup, je ne sais pas si l’on se plaint d’Internet, ou si l’on est enfermé dans des jardins clos comme YouTube et TikTok, avec l’envie de passer plus de temps sur l’Internet à l’ancienne sans y parvenir à cause de leur caractère addictif
Mais pour l’internaute moyen, le petit site web n’existe pratiquement pas
Il est très rare de voir des liens vers des sites faits main sur les profils Instagram et TikTok, et Google redirige de plus en plus toutes les requêtes vers les mêmes 500 énormes sites SEO
À l’époque, j’utilisais beaucoup Digg pour ça, StumbleUpon était aussi excellent pour ce genre de découverte, et les débuts de Reddit avaient un effet similaire
Aujourd’hui, je ne sais pas où aller
On peut toujours cliquer de lien en lien pour chercher, mais franchement je n’ai pas le temps, et maintenant que j’ai la trentaine bien entamée, je ne vais plus sauter d’hyperlien en hyperlien à la recherche d’indices menant à du bon contenu
Beaucoup de gens font déjà ce travail ; ce qui manque, c’est un bon endroit où rassembler cette curation pour que d’autres puissent la découvrir
Rien que suivre les discussions du salon Matrix d’animation et du serveur Discord de RPG m’empêcherait de travailler, de préparer la partie de RPG que j’anime, et de faire les tâches ménagères
Sans même parler des blogs personnels, Substack, Reddit, HN, etc.
Plutôt que de dire que les gens ont faim de contenu personnel, comme tu le dis, cela ressemble davantage à un problème côté utilisateur
Les solutions de découvrabilité consistant simplement à parcourir le web de la manière décrite, ou à utiliser les méthodes mentionnées dans l’article de marginalia.nu, ne satisfont pas le désir d’« être vu » aussi vite qu’un processus plus finement optimisé techniquement
Ce témoignage me parle
J’ai publié mon site d’entraînement linguistique sur HN, LinkedIn et ailleurs, mais je n’ai pas réussi à susciter l’intérêt
J’ai à peine obtenu un peu de réaction sur le Facebook slave, et rejoindre un webring semble aussi avoir un peu aidé
C’est gratuit, vraiment gratuit. Parce que c’est quelque chose que j’aime et que j’ai envie de partager
Si je le poste à plusieurs endroits et que personne ne clique, qu’est-ce que je suis censé faire ?
Acheter de la pub pour que les gens utilisent mon site web gratuit ?
J’ai essayé les balises Open Graph et les descriptions vues dans des articles SEO, j’ai aussi publié sur les réseaux sociaux, mais la réaction a été tiède
Quelqu’un a mentionné quelque chose comme delicious, peut-être StumbleUpon, ou autre chose
Peut-être une forme de marque-pages fédérés
J’ai l’impression que la culture est devenue « si ce n’est pas sur Facebook, c’est comme si ce n’était pas sur Internet », et je ne sais pas comment revenir en arrière
La plupart des gens semblent utiliser leur ordinateur et leur téléphone comme un bootloader Instagram
Il faut répondre à cette question, et si possible élargir toute la catégorie de connaissances concernée
Si tu commences simplement à publier au gré de tes envies, la seule chose garantie est la récompense psychologique d’avoir mis tes pensées dehors
Si tu dois acheter de la publicité, cela signifie que tu produis déjà du contenu dans un domaine où le vivier de concurrents est suffisamment important
S’il existe un modèle économique durable, ce n’est pas un problème en soi
Les utilisateurs de HN peuvent bien dénigrer Google en disant que c’est une régie publicitaire, il faut comprendre que son produit central reste la recherche
La recherche est le processus qui amène les utilisateurs vers du contenu satisfaisant leur requête
On peut débattre de la qualité des résultats ou regretter l’expérience de recherche d’autrefois, mais le postulat de base demeure
Google doit quand même produire au moins des résultats pertinents
Les jeux de SEO apparaîtront et disparaîtront, mais Google aura toujours intérêt à fournir aux utilisateurs des résultats significatifs correspondant à ce qu’ils veulent
Les indicateurs de satisfaction peuvent changer, mais le besoin de contenu satisfaisant ne disparaît pas
Les flux RSS, les sitemaps, les données structurées, etc., ne sont que des outils ; au bout du compte, ce que l’on crée, c’est du contenu
Beaucoup de sites très fréquentés réussissent tout en ayant complètement massacré ces bases
C’est plus facile à dire qu’à faire, mais cela reste tout à fait à portée
Il faut réfléchir davantage à la valeur apportée aux utilisateurs
Dans l’un, le moteur de recherche est une plateforme publicitaire, et les masses de contenu conçues pour générer du revenu sont elles aussi des plateformes publicitaires
Dans l’autre, le moteur de recherche sert à trouver de l’information, et il liste des sites qui publient gratuitement des informations utiles, intéressantes, bizarres ou amusantes, pour que quelqu’un d’autre que l’auteur puisse les apprécier
Si l’on confond les deux, on finit déçu
Ça marchait plutôt bien
Je cherchais désespérément de bonnes ressources pour pratiquer et apprendre le slovène, plutôt que les cours coûteux de l’University of Cleveland
Une partie du problème semble venir du fait que les petits sites web ne sont tout simplement plus indexés par Google
Mon blog, qui a 15 ans, compte 15 pages indexées d’après Google Search Console, et 174 pages « Découvertes — actuellement non indexées »
Même si je publie de nouveaux billets de temps en temps, le nombre de pages indexées diminue avec le temps
La page Search Console dit d’« examiner le problème et de décider s’il faut corriger ces URL », mais le seul conseil qu’on trouve à peu près est d’attendre qu’elles soient indexées, ce qui, en pratique, ne semble jamais arriver
Je ne prétends pas que mon blog soit le contenu le meilleur ou le plus intéressant du monde, mais je doute qu’on puisse dire qu’il soit pire que les absurdités dupliquées, souvent fausses et taillées pour le SEO, qui remplissent aujourd’hui les premières pages des résultats de recherche tech
Je gère un SaaS qui aide les propriétaires de sites à faire indexer leur contenu, et le nombre d’utilisateurs augmente ; j’estime que cela vient en grande partie simplement de l’IA
Le volume de nouvelles pages web ajoutées était assez linéaire dans le temps, puis, avec l’arrivée des outils d’écriture par IA, il a soudain grimpé presque à la verticale, comme une crosse de hockey
On peut désormais publier des milliers de pages en quelques minutes, ce qui crée un énorme embouteillage dans la file de crawl de Google et allonge aussi les délais d’indexation en général
L’effet est disproportionné pour les petits sites
La plupart de mes sites personnels sont coincés depuis près de deux ans dans les limbes « Discovered - currently not indexed » de Google, et rien ne change même en demandant régulièrement l’indexation ou en faisant les opérations habituelles comme optimiser le score Lighthouse
Je suis allé voir le forum d’aide Google Search, c’était assez triste. On avait l’impression que quantité de gens criaient dans le vide
On dirait presque que Google a abandonné la recherche
S’ils veulent vraiment l’améliorer, la clé serait probablement de sortir du modèle financé par la publicité
Larry Page et Sergey Brin avertissaient déjà en 1998 que « les moteurs de recherche financés par la publicité seront intrinsèquement biaisés en faveur des annonceurs et éloignés des besoins des consommateurs »[0]
Personnellement, je pense qu’un modèle de support payant suffirait au moins à couvrir les coûts d’exploitation minimaux
Cela ne rapporterait pas autant que la publicité, mais, comme porte d’entrée vers Internet et vers les autres services Google, cela pourrait rester très précieux pour Google comme pour les utilisateurs
[0] "The Anatomy of a Large-Scale Hypertextual Web Search Engine", Computer Networks, vol. 30 (1998), pp. 107-117, la citation se trouve dans l’Appendix A et semble absente de certaines versions récentes en ligne
Mon site n’est pas aussi ancien, il a environ 8 ans, et je publie du nouveau contenu de façon semi-régulière, mais il arrive que d’anciennes pages disparaissent de l’index sans raison claire, et certaines pages restent bloquées dans le lot de celles qui ont été découvertes mais non indexées
J’essaie périodiquement de les mettre à jour ou d’enrichir un peu le contenu, mais en général cela n’aide pas à l’indexation
Mon site n’a pas non plus le contenu le plus passionnant qui soit, mais il reçoit tout de même un trafic régulier
Google n’indexe que la page d’accueil et ignore le reste s’il n’y a pas de liens externes
Même avec un bon sitemap et de bons scores d’utilisabilité
J’espère que les mesures antitrust casseront ce conflit d’intérêts précis
Kagi propose une option pour rechercher dans ce qu’ils appellent le « petit web »[1]
Je ne l’ai pas beaucoup utilisée, mais les quelques fois où je l’ai fait, elle semblait donner de bons résultats
[1] https://blog.kagi.com/small-web
Cela vient en partie du type de personnes susceptibles d’avoir ce genre de site, et aussi de l’endroit d’où ils ont récupéré la liste
Ils sont peut-être partis d’un blogroll HN ou quelque chose du genre
Cela dit, dans l’ensemble, ce sont des sites intéressants, et j’y retourne toutes les quelques semaines
Cela me fait penser à une version plus substantielle de l’ancien StumbleUpon
Si Google n’indexe pas les petits sites web, je me demande comment Kagi peut les afficher
Le problème avec l’idée des favoris, c’est la pourriture des liens
Maintenir une liste à jour demande des efforts
Les nouveaux webrings ne fonctionnent pas bien non plus à cause de cela
Je connais environ 190 « nouveaux » webrings, et seuls 20 % environ sont accessibles sans tomber sur un message 404
Un moteur de recherche pour le « petit web » pourrait être la bonne voie
En plus de Kagi, ceux que je connais sont les suivants
https://search.marginalia.nu/
https://wiby.me/
https://searchmysite.net/
Je suis d’accord qu’il est difficile de découvrir de petits sites web
En créant https://Cloudhiker.net, j’ai rassemblé des centaines de ces sites dans un service façon StumbleUpon moderne, et les gens aiment ça
En cliquant de webring en webring, on peut encore découvrir plein de super sites créés par des inconnus partout dans le monde
J’avais rejoint Indie Webring (https://xn--sr8hvo.ws/) et Fediring (https://fediring.net/) à l’époque
En plus, mon archive personnelle de favoris contient aussi des centaines de liens : https://bookmarks.kovah.de
Je ne vois pas en quoi c’est plus moderne
Le modèle consistant à « créer et publier une liste de favoris menant vers des sites web intéressants ; c’est vous qui décidez ce qui est intéressant » et à dire que « rien n’empêche une liste de favoris de pointer vers d’autres listes de favoris » devient, si l’on y ajoute les commentaires des amis d’amis sur les favoris partagés, le bookmarklet Note in Reader de Google Reader et sa fonctionnalité d’éléments partagés entre amis[1]
Pour les personnes qui utilisaient les éléments partagés, la partie lecteur RSS de Reader n’était qu’une autre façon de produire des éléments à partager
La liste des éléments partagés pouvait être publique et la participation positive était largement ouverte, mais les commentaires sur ces éléments étaient limités aux amis désignés et aux amis de ces amis
Cette structure a donné de la persistance à la fonctionnalité de partage
En partageant des éléments et en les commentant, la liste d’amis s’élargissait, davantage d’éléments partagés devenaient visibles, et cela pouvait servir de canal d’agrégation pour faire parvenir des éléments singuliers à des personnes au-delà du mur des amis
Même les éléments dépourvus de flux pouvaient être capturés et partagés via le bookmarklet
Ces groupes grandissaient de manière organique et restaient socialement isolés des abus
Par définition, tous les participants devaient se connaître ou se porter garants les uns des autres, même sans vrais noms
En plus de bloquer des utilisateurs individuels, rompre un lien d’ami commun les bloquait de fait dans les chemins par lesquels ils étaient visibles aux autres
C’était vraiment formidable[2]
1: https://www.searchenginejournal.com/google-readers-gets-more...
2: https://www.buzzfeed.com/robf4/googles-lost-social-network
J’ai fait exactement ce qui consiste à « créer et publier une liste de favoris menant vers des sites web intéressants » avec share-links
C’est un outil qui permet d’enregistrer et de partager facilement des liens vers ce que l’on aime sur le Web
Le dépôt contenant davantage d’informations est ici, et pour lancer une instance sur le Web, consultez le fichier DEPLOY.md : https://gitlab.com/sodimel/share-links
Mon instance, qui contient plus de 4 000 liens, est ici : https://links.l3m.in/
Si vous voulez être surpris, ouvrez ce lien dans un nouvel onglet : https://links.l3m.in/en/random/