Créer un bot de crawling Coupang avec ChatGPT

 (blog.hashscraper.com)
17 points par bamchi 2023-08-29 | 5 commentaires | Partager sur WhatsApp
  • Développement d’un bot de crawling qui collecte les informations produit de Coupang avec ChatGPT
    • Les colonnes à collecter sont le nom du produit, le prix catalogue, le prix de vente, la note, le nombre d’avis, les informations de remise carte, les informations de points de fidélité et les informations de livraison
  • Méthodes pour réduire la taille du HTML afin d’éviter la limite du nombre de tokens, et points à considérer lors de la rédaction des prompts
  • Ignorer les produits sponsorisés
  • Gestion des exceptions lorsque la structure du DOM diffère
  • Vérification des colonnes obligatoires (nom du produit, prix)
  • ChatGPT est un outil extrêmement utile, mais il nécessite un peu de débogage et d’ajustements (au final, ce sont les experts qui en tirent le plus grand bénéfice)
  • Pour collecter de gros volumes de données, il faut prendre en compte les stratégies d’évitement du blocage

À lire aussi

5 commentaires

 
freedomzero 2023-08-30

On dirait que tout l'article lui-même a été écrit par GPT.
 
roxie 2023-08-30

(Au final, ce sont les experts qui en tirent la plus grande aide)

Je crois que c’est ce à quoi ça se résume..
 
superyang 2023-08-30

Je crée un crawler avec ChatGPT, et cela m’aide beaucoup pour le parsing et l’extraction XPath.
 
kernel00 2023-08-30

C’est un article sur la création d’un crawler avec GPT, mais au final, c’est surtout une publicité pour HashScraper.
 
superwoou 2023-08-30

Les blogs tech, c’est toujours un peu comme ça, non… hehe.