Comment ChatGPT choisit réellement ses sources (analyse du trafic réseau)

• Analyse d’environ 1 240 enregistrements de sources collectés sur plusieurs jours à partir d’un seul compte Pro connecté, montrant dans le JSON du navigateur la pipeline de sources, la classification des requêtes, les termes de recherche et le modèle exécuté, invisibles dans la réponse finale seule
• Tous les résultats web portent un result_source parmi serp, labrador, bright ou oxylabs, et pour les requêtes commerciales, shopping, finance ou météo, bright, lié à Bright Data, a été observé le plus souvent
• Les requêtes sont classées dans l’un des 6 turn_use_case, et si c’est text, il n’y a pas de recherche web : la réponse s’appuie uniquement sur les données d’entraînement. Sur 10 requêtes demandant de l’actualité, 3 n’ont pas lancé de recherche, mais les résultats restent limités à un seul compte
• Le modèle Thinking étend une comparaison de produits en environ 15 à 40 sous-requêtes, cherche les pages de prix officielles avec site:, ou estime d’abord le prix puis le vérifie en cherchant des chaînes comme $ ou €
• Récupération, citation et mention de marque sont trois choses différentes, et si le prix ou les spécifications d’une page officielle sont cachés derrière du JavaScript ou des images, une source tierce comme G2 peut être citée à la place. Les faits doivent être fournis en HTML brut, et les évaluations doivent aussi venir d’avis, de Reddit ou de contenus comparatifs

---

Périmètre de l’enquête et critères d’interprétation des résultats

• En utilisant le compte ChatGPT Pro connecté d’une seule personne, plusieurs dizaines de recherches ont été exécutées sur quelques jours pour collecter environ 1 240 enregistrements de sources
  • La plupart des requêtes étaient orientées SaaS et technologie
  • Il ne s’agit pas d’une étude mesurant la fréquence des sources sur l’ensemble de la population, mais d’un relevé des champs internes et comportements observables dans ce que le navigateur reçoit
• Les grandes études de visibilité agrègent la fréquence d’exposition des marques dans les réponses finales sur des milliers de prompts, mais le traitement interne doit alors être déduit des résultats
• Cette analyse vérifie directement dans le JSON des réponses réseau les labels internes du moteur
  • le result_source de chaque résultat
  • le turn_use_case de chaque requête
  • le nom des fournisseurs de recherche
  • les termes de recherche générés par ChatGPT
  • le modèle effectivement exécuté
• Le niveau de confiance des résultats doit être séparé en deux catégories
  • Faits structurels : existence des champs et de leurs valeurs, absence de recherche web pour les requêtes text, multiplicité des recherches site: et vérification des prix par le modèle Thinking, c’est-à-dire des structures confirmées de façon répétée dans le trafic réel
  • Observations de fréquence : poids de bright, rang des citations Reddit, absence de citations YouTube, c’est-à-dire des chiffres et classements susceptibles de varier selon un seul compte et un choix limité de requêtes
• Une différence mécanique soutient cette observation : Reddit permet de récupérer le texte du corps du message, alors que dans les résultats YouTube, seul le plus souvent le metadata est reçu. Mais il faudrait un échantillon plus large pour connaître les proportions exactes

Inspection HTTP du navigateur, pas capture de paquets

• Avec les seuls paquets Wireshark, on ne peut pas lire la requête et la réponse, car le contenu réel des messages est chiffré en TLS
  • On peut voir des métadonnées comme le nom d’hôte de destination, l’IP et le fait que l’app ChatGPT utilise HTTP/3 sur QUIC plutôt que TCP
  • Le premier paquet QUIC est obscurci avec une clé fixe définie par la spécification, ce qui permet à l’outil de le décoder et d’afficher le nom de serveur non chiffré inclus dans le ClientHello
  • Ensuite, le corps des requêtes et réponses reste dans la charge utile protégée et ne peut pas être lu
• Le JSON contenant les requêtes, réponses et métadonnées doit donc être observé dans le panneau Network des DevTools du navigateur, après déchiffrement
• Deux problèmes sont apparus pendant l’automatisation
  • En lançant un autre moteur dans un Chrome automatisé propre, l’écran de vérification humaine Cloudflare s’est affiché de manière répétée après quelques requêtes, ce qui a conduit à basculer vers un Chrome avec une vraie session
  • Les réponses ChatGPT sont diffusées en streaming via une connexion longue ouverte au chargement de la page, donc un hook installé en cours de session ne permettait pas de capturer le flux depuis le début

Le result_source attaché à chaque source

• En activant Preserve log dans DevTools puis en recherchant dans les réponses, on voit que tous les résultats web récupérés par ChatGPT portent un result_source
• Mark Williams-Cook avait partagé 3 de ces valeurs, et Metehan avait peut-être déjà découvert la valeur restante
• Quatre valeurs ont été observées
  • serp : couche de base de l’open web, observée surtout dans des actualités comme Yahoo ou StreetInsider
  • labrador : semble être une allowlist d’éditeurs établis comme Reuters, The Guardian, WSJ, FT, Wikipedia ou arXiv, avec des extraits fournis jusqu’à environ 1 080 caractères
  • bright : renvoie au spécialiste du web scraping Bright Data et ressort particulièrement dans les requêtes shopping, finance, météo et locales
  • oxylabs : renvoie au concurrent Oxylabs et apparaît davantage dans la presse locale et certains résultats de l’open web
• labrador ressemble à une couche sous licence, car il inclut plusieurs éditeurs ayant signé des accords de contenu avec OpenAI, mais le seul trafic ne permet pas de confirmer la relation contractuelle
• Pour bright et oxylabs, on ne sait pas non plus s’il existe un contrat ou un paiement. On peut seulement voir que la récupération sur l’open web passe par les deux, et quel fournisseur a servi chaque résultat grâce au champ
• Dans l’échantillon collecté, bright a assuré le plus grand nombre de récupérations
  • Reuters, WSJ, Wikipedia et TechRadar étaient en labrador
  • Reddit, Forbes et rtings étaient en bright
  • des médias du Golfe comme Khaleej Times ou Gulf News étaient en oxylabs
• Sur une requête météo à Dubaï, les rôles étaient déjà répartis au sein d’une seule réponse
  • metoffice.gov.uk, accuweather.com et timeanddate.com étaient en bright
  • khaleejtimes.com, gulfnews.com et whatson.ae étaient en oxylabs
• Pour être visible dans une couche de scraping réellement accessible, il faut placer les faits et les chiffres en HTML brut, sans les cacher derrière des scripts, des PDF ou des images
• Au lieu de dépendre seulement d’une couche d’éditeurs plus difficile d’accès, il faut aussi être présent sur des pages lues par les scrapers via des articles tiers, des RP, des mentions de marque, des liens et Reddit

Les requêtes text qui ne cherchent pas du tout sur le web

• Avant toute recherche, ChatGPT classe la question dans un turn_use_case, et 6 valeurs ont été observées
  • instant search
  • shopping
  • text
  • local
  • thinking
  • image generation
• Si la requête est classée en text, aucune recherche web n’est lancée et la réponse repose uniquement sur les données d’entraînement
  • « comment changer un pneu crevé »
  • « écris une fonction Python qui fusionne deux listes triées »
  • « traduis cette phrase en 4 langues »
• Même une question importante en actualité et sécurité comme « les dernières recommandations de traitement du diabète de type 2 » a été classée en text et traitée sans recherche web
• Parmi 10 questions demandant volontairement des informations récentes, 3 ont été traitées sans recherche, mais ce test limité ne permet pas d’en déduire une proportion générale
• La classification varie non seulement selon le sujet, mais aussi selon la formulation de la requête
  • « le meilleur café près de chez moi » bascule vers la pipeline local
  • « la meilleure TV 4K à acheter » active shopping
  • « la meilleure TV 4K avec des avis » reste dans la recherche générale
  • les questions de maths passent vers le modèle de raisonnement thinking
  • « l’action Tesla cette semaine » reste en instant search
• Avant de produire une page, il faut vérifier si la requête cible déclenche réellement une recherche web
  • si une requête d’usage ou de définition est traitée en text, la page ne pourra pas entrer dans les résultats, quelle que soit sa qualité actuelle
  • pour qu’une marque apparaisse sur ce type de requête, il faut bâtir de l’autorité sur le long terme et laisser des crawlers comme Common Crawl voir le site afin d’augmenter ses chances d’entrer plus tard dans les données d’entraînement

Comment une question est étendue à des dizaines de recherches

• En récupérant toute la conversation via l’API propre de ChatGPT, on peut voir les requêtes en fan-out lancées par le modèle
  • les modèles rapides n’exécutent généralement qu’un seul terme de recherche réécrit
  • le modèle Thinking génère environ 15 à 40 sous-requêtes pour une seule question de comparaison de produits, selon la complexité
• Dans un processus de comparaison, plusieurs motifs de recherche s’enchaînent
  • recherche directe des pages de prix des fournisseurs avec site:
  • estimation du prix puis recherche de confirmation de ce montant
  • découverte pendant l’enquête d’outils non mentionnés dans le prompt, comme Scrunch AI, ce qui élargit le périmètre de comparaison
  • vérification en cascade du prix des outils nouvellement trouvés
• Il ne se contente pas de récupérer des résultats de recherche : l’outil de navigation exécute côté serveur les commandes find, open, click
  • il cherche directement des chaînes comme $, €, 99, Agency
  • ce n’est pas un agent manipulant l’écran utilisateur, mais un outil serveur qui parcourt les résultats de page
• Sur la requête « keyword insights pricing », il exécute site:keywordinsights.ai/pricing, estime des valeurs comme « Starter $58, Pro $145, Advanced $299 », puis cherche les symboles monétaires dans le HTML pour confirmer
• Les prix et chiffres clés doivent être fournis en texte HTML plutôt qu’en image, et il vaut mieux éviter les toggles JavaScript ou le chargement dynamique des données
• Il ne faut pas viser uniquement les phrases saisies par des humains, mais aussi les termes de recherche reformulés puis exécutés par le modèle, y compris les contrôles directs du type site:yourdomain.com/pricing

Récupération, citation et mention sont trois résultats différents

• Une source peut avoir trois statuts indépendants
  • Récupérée (Fetched) : la page entre dans le contexte du modèle mais reste invisible pour le lecteur ; on l’observe dans l’objet result_source
  • Citée (Cited) : elle est reliée à une phrase précise sous forme de source cliquable
  • Mentionnée (Mentioned) : le nom de marque ou un chip de site apparaît dans la réponse, sans être la source de l’affirmation
• Dans un échantillon limité de requêtes techniques et commerciales, Reddit et YouTube ont été récupérés respectivement 278 et 201 fois
  • Reddit a été cité 11 fois
  • YouTube n’a jamais été cité
• Dans les résultats YouTube, le système récupérait plutôt le metadata que la transcription vidéo, alors que les threads Reddit comportaient du texte de corps de page, plus facile à rattacher à une phrase précise
• De grandes analyses externes montrent la même direction
  • Ahrefs a constaté, sur 1,4 million de prompts ChatGPT, un taux de citation de 1,93 % pour Reddit contre 0,51 % pour YouTube
  • Profound a observé le même écart entre les deux services
• Dans le petit échantillon, Reddit était le domaine unique le plus cité, puis les citations se répartissaient entre des sites d’avis comme rtings et TechRadar et des pages de fournisseurs
• Les pages fournisseurs sont citées comme source de leurs prix et spécifications
  • Zoho, Semrush et des fournisseurs de VPN étaient reliés comme preuve de leurs propres informations
  • pour déterminer quel produit est le meilleur, les citations venaient surtout de pages tierces
• Une citation s’attache à une phrase précise et non à l’ensemble de la réponse ; la seule pertinence thématique ne suffit donc pas, il faut être la meilleure preuve d’une affirmation exacte
• Les résultats sont dédupliqués au niveau du domaine, si bien que 20 pages faibles d’un même site peuvent être fusionnées en une seule
• Il vaut mieux créer une page forte par affirmation que produire en masse des pages médiocres pour chaque requête fan-out
• Les affirmations évaluatives sur sa propre offre ne s’appuient pas sur ses propres pages, mais sur des avis tiers, Reddit ou des contenus comparatifs, et le texte se cite plus facilement que la vidéo

Changement de source quand la page officielle n’est pas lisible

• Le trafic envoyé au navigateur ne donne accès à aucun score caché de ranking comme un score d’autorité de domaine, un poids de confiance ou une formule de classement
  • cette logique reste côté serveur chez OpenAI
  • les seules données du navigateur ne permettent pas d’affirmer ni de vendre des « facteurs de ranking ChatGPT »
• Dans les raisonnements enregistrés du modèle Thinking, le processus de sélection des sources reste écrit en toutes lettres
  • pour les faits comme les prix et spécifications, les pages officielles sont privilégiées
  • dans la comparaison Ahrefs, le système a vérifié les prix officiels Lite $129, Standard $249, Advanced $449 et choisi de citer la page tarifaire la plus récente
• Pour Profound et Peec, le prix n’apparaissait pas directement dans les résultats de recherche, avec la note qu’il pouvait être chargé en JavaScript
• Si la page officielle ne peut pas être parsée, le modèle bascule vers une source tierce comme G2
  • il a essayé de vérifier le prix officiel mais ne l’a pas trouvé sur la page
  • le résultat est que les chiffres de la marque sont cités à partir de la page d’un autre site
• Les prix et spécifications produit ne doivent pas être chargés via JavaScript ni placés dans des images ; ils doivent être fournis en texte crawlable
• Une page tarifaire facile à lire augmente la probabilité que ses propres faits soient cités directement, mais les recommandations et évaluations doivent être obtenues séparément via des avis, Reddit et des comparatifs honnêtes

Personnalisation, recherche locale et zones non vérifiables

• La raison pour laquelle une source est choisie plutôt qu’une autre ne peut pas être vérifiée au-delà du récit propre enregistré par le modèle, car cela relève d’une logique côté serveur
• La personnalisation ne s’applique pas à toutes les requêtes, mais seulement à certaines requêtes pertinentes
  • sur des requêtes recoupant le travail passé de l’utilisateur, personal_sources: ["convo_search", "gmail", "files"] apparaît
  • parmi 3 conversations étudiées, 1 correspondant à l’historique de l’utilisateur utilisait de précédentes conversations dans une réponse générique sur les « meilleurs outils »
• Certaines réponses intègrent des données personnelles qu’on ne peut pas optimiser depuis l’extérieur ; les résultats varient donc selon l’utilisateur et les scores de visibilité peuvent fluctuer
• Dans la recherche locale, local_results_limit vaut 2
  • si l’on demande le meilleur café à proximité, 2 établissements seulement sont renvoyés, et non 10
  • en local, ne pas être dans le top 2 signifie ne pas apparaître dans la réponse
• Une seule requête a été observée dans la pipeline shopping, et ses résultats contredisent frontalement ceux vus par un autre chercheur sur une requête unique ; il est donc impossible à ce stade d’en fixer la composition
• La structure a été observée de façon répétée sur environ 1 240 enregistrements, mais les proportions issues d’un petit ensemble de requêtes commerciales centrées SaaS et tech nécessitent une validation plus large sur plusieurs secteurs
• Le système peut changer chaque semaine ; il faut donc considérer cela comme un instantané où la structure reste, mais les chiffres bougent

Comment vérifier soi-même et les extensions disponibles

• Il est possible de vérifier la pipeline de base dans son propre navigateur sans autorisation particulière
  • ouvrir DevTools dans ChatGPT avec Cmd+Option+I
  • activer Preserve log dans Network
  • exécuter une requête puis chercher result_source dans les réponses avec Cmd+Option+F
• Pour voir aussi le fan-out, les citations et le raisonnement, il faut saisir une fois allow pasting dans Console, puis lire les données /backend-api/conversation/ d’une conversation ayant utilisé la recherche web
• Le script fourni lit uniquement les données de ses propres conversations à l’aide du token d’accès de la session courante, puis affiche sous forme de tableau les domaines sources et leur pipeline
  • techradar.com et whathifi.com sont en labrador
  • soundguys.com et rtings.com sont en bright
  • khaleejtimes.com est en oxylabs
  • streetinsider.com est en serp
• En changeant les champs collectés, on peut extraire de la même manière les termes de recherche, les citations et les raisonnements enregistrés
• FanoutFox est une extension Chrome gratuite qui automatise ce processus
  • elle affiche la pipeline result_source pour chaque source
  • elle distingue les statuts récupération, citation et mention
  • elle montre toutes les requêtes fan-out générées à partir d’une seule question ainsi que les recherches site: et les vérifications de prix
  • les données ne quittent pas le navigateur
  • elle peut être installée depuis le Chrome Web Store et une analyse complémentaire est disponible dans la Part 2
• L’extension gratuite d’Olivier de Segonzac lit elle aussi les données dans la session locale et les exporte vers Excel
  • elle affiche turn_use_case pour voir si une requête bascule avant recherche vers shopping, local ou text
  • elle sépare dans les tokens de citation la part des types de référence produit, résultats de recherche, actualités et images
  • elle montre sous forme de graphique la composition result_source par conversation
  • elle est disponible sur le Chrome Web Store et dans sa note de mise à jour

Des principes de conception différents du SEO classique

• Dans cet échantillon limité, plusieurs conseils classiques ont globalement été confirmés, notamment le poids de Reddit, des contenus en liste et des sites d’avis
• Même un bon contenu n’est utile que là où le modèle peut réellement le lire, et les faits illisibles peuvent être récupérés depuis d’autres sites
• ChatGPT lit sur ses propres pages les faits parsables, récupère les évaluations sur les pages d’autres personnes, et n’exécute ce processus que si la requête est classée comme devant faire l’objet d’une recherche
• Plutôt que de viser uniquement le ranking dans les moteurs de recherche, il faut concevoir simultanément le déclenchement ou non de la recherche, la possibilité de parser le HTML, l’aptitude à être cité pour une affirmation précise et les sources tierces d’évaluation