Méthodes d’évaluation pour concevoir un algorithme de recherche plus intelligent

• Comment Shopify a évalué si les résultats de recherche s’étaient réellement améliorés en remplaçant l’algorithme utilisé pour la recherche de produits

→ Ancien Vanilla PageRank : calcul du classement à partir des PV basées sur la recherche

→ Nouveau Query-specific PageRank : calcul des pondérations à partir de l’historique des clics pour chaque requête

• Évaluation en 3 étapes

1. Collecte des données : événements Kafka et jeu de données annoté

2. Évaluation des métriques hors ligne : évaluer le nouvel algorithme à partir des requêtes de recherche existantes

→ Mean Average Precision (MAP) : pénalise lorsqu’il y a des documents non pertinents parmi les N premiers résultats renvoyés par une requête

→ Normalized Discounted Cumulative Gain (NDCG) : calcule le score de coupure pour le calcul du MAP et pénalise si des éléments bien notés (Great/Good) apparaissent trop bas dans l’ordre des résultats

3. Évaluation des métriques en ligne : évaluer le fonctionnement réel de la recherche à l’aide des logs de recherche

→ Indicateurs qui déterminent le succès : fréquence à laquelle les utilisateurs effectuent des recherches, jusqu’où ils font défiler pour trouver le résultat voulu, s’ils contactent l’équipe support pour résoudre leur problème, etc.

→ Click-through rate (CTR) : taux de clic sur les résultats de recherche. Plus il est élevé, mieux c’est

→ Average rank : rang moyen des résultats cliqués. Plus il est bas, mieux c’est

→ Abandonment : taux d’abandon lorsqu’un utilisateur ne trouve pas le résultat souhaité ; bien sûr, il peut aussi être influencé par les bots ou le spam, mais il vaut mieux qu’il reste raisonnablement bas

→ Collecte à l’aide de Kafka

→ Réalisation d’un test A/B avec l’approche existante

• Au final, le nouvel algorithme de recherche a surpassé l’approche existante et a donc été déployé en remplacement

• Points clés

→ Un jeu de données labellisé, fiable et de haute qualité est au cœur de l’évaluation

→ Les métriques en ligne fournissent d’excellents insights sur le comportement des utilisateurs

→ Les métriques hors ligne aident à itérer rapidement sur les nouveaux algorithmes et à réduire les risques