Comment Vercel a réduit le poids des pages web de 500 KB à 2 KB pour les agents IA

Identification du problème principal

• Contrairement aux humains, les agents IA n’ont absolument pas besoin du CSS, du JS côté client ni des images
• Ces éléments ne font que gaspiller des tokens et apportent très peu d’informations réellement utiles
• Ce dont les agents ont besoin, c’est uniquement d’un texte propre et structuré

La solution de Vercel

• Utilisation du mécanisme HTTP de négociation de contenu (Content Negotiation)
• Une même URL renvoie un format différent selon la requête du client
  • Humain (navigateur) → expérience HTML + CSS + JS complète
  • Agent IA → version Markdown
• Mise en œuvre sans site séparé ni duplication de contenu

Fonctionnement (basé sur l’en-tête Accept)

• Exemple d’en-tête envoyé par un agent
• Accept: text/markdown, text/html, */*
• → indique que le Markdown est la préférence prioritaire
• Le middleware Vercel inspecte l’en-tête Accept
• Si le Markdown est préféré → transfert vers un route handler Next.js
• Le contenu rich-text de Contentful est converti en Markdown avant d’être renvoyé
  • Blocs de code : conservation des marqueurs de coloration syntaxique
  • Titres : hiérarchie préservée
  • Liens : conservés tels quels

Effets et chiffres

• Article de blog classique
  • Version HTML : environ 500 KB
  • Version Markdown : environ 2 KB
• Réduction de taille : 99,6 %
• Avantages
  • Efficacité maximale du budget de tokens → se concentrer sur l’information réelle plutôt que sur le balisage
  • Possibilité de traiter davantage de contenu par requête
  • Exécution plus rapide + moins de risques d’atteindre la limite de tokens

Maintenance technique

• Utilisation du remote cache de Next.js 16 + slug partagé
• Lors des mises à jour du contenu dans Contentful, les versions HTML et Markdown sont rafraîchies simultanément → la synchronisation est maintenue

Aide à l’exploration pour les agents

• Mise à disposition d’un sitemap dédié au format Markdown
• Informations incluses : date de publication, type de contenu, liens directs vers les versions HTML et Markdown, etc.
• Les agents peuvent ainsi comprendre l’ensemble des contenus disponibles → et choisir plus facilement le format optimal

Ce que cela signifie au final

• Reconnaître que la manière dont les humains et l’IA consomment le web est fondamentalement différente
• Un exemple concret d’expérience optimisée pour chaque type de client
• Un point de départ important pour un web pensé à la fois pour les humains et pour l’IA

https://aisparkup.com/posts/8997