Comment trouver des opportunités de croissance cachées dans un produit

• Résumé de la transcription d’une vidéo YouTube dans laquelle Albert Cheng, qui a fait croître des produits par abonnement de classe mondiale comme Duolingo et Grammarly, explique comment relier les utilisateurs à la valeur d’un produit
  • Il insiste sur le fait que la croissance n’est pas un simple piratage de métriques, mais un processus de livraison de valeur centré sur l’utilisateur
• À travers le framework Explore/Exploit, il montre comment étendre à l’ensemble du produit les insights obtenus lors d’expériences, et propose une stratégie pour amplifier de plus de 10x une expérience réussie
• Chez Grammarly, en faisant échantillonner des fonctionnalités payantes aux utilisateurs gratuits pour leur montrer la vraie valeur du produit, l’équipe a obtenu une hausse de 2x du taux d’upgrade
• Chez Chess.com, le passage d’un focus sur les erreurs après une défaite à un feedback positif mettant en avant les bons coups a amélioré fortement la revue de partie (+25 %), l’abonnement (+20 %) et la rétention
• Le facteur clé du succès des produits grand public sur abonnement est une forte rétention utilisateur (D1 supérieur à 30-40 %), ce qui souligne l’importance d’une croissance organique par le bouche-à-oreille et d’une diffusion large de la valeur via un produit gratuit

---

Présentation et parcours d’Albert Cheng

• L’un des meilleurs experts mondiaux de la croissance grand public, il a piloté la croissance et la monétisation de Duolingo, Grammarly et Chess.com
• À ses débuts, il a développé sur YouTube des fonctionnalités de streaming et de jeu utilisées par plus de 20 millions de personnes
• Son approche singulière de la croissance combine marketing, data, stratégie et gestion produit

Du pianiste au responsable de la croissance

• Il a grandi dans une famille d’immigrés taïwanais en pratiquant chaque jour 90 minutes de piano classique
• Doté de l’oreille absolue (Perfect Pitch), il reconnaissait immédiatement les notes et assimilait rapidement la musique
• Il a envisagé d’entrer dans une école de musique avant de se réorienter vers l’ingénierie
• Points communs entre le piano et la croissance
  • Répétition continue et apprentissage par l’erreur : développement de boucles de feedback rapides et de la résilience
  • Créativité sur une base structurée : trouver des solutions créatives sur la structure des modèles de croissance et des métriques, comme on crée une belle musique sur la base de la théorie musicale

Le framework Explore/Exploit

• Concept issu d’un cours Reforge de Brian Balfour, qu’il a découvert via Nurmal, son partenaire engineering chez Grammarly
• Explore : le processus qui consiste à trouver la bonne montagne
• Exploit : concentrer les ressources pour gravir efficacement cette montagne
• La plupart des entreprises penchent trop vers un extrême
  • Trop d’exploration : l’équipe se disperse, teste au hasard 100 idées et manque de stratégie
  • Trop d’exploitation : cela mène à la saturation et à la stagnation, avec une simple optimisation locale
• Les équipes growth tombent souvent facilement dans le mode exploitation

• Application au niveau micro : le cas Chess.com

  • Dylan, PM des fonctionnalités d’apprentissage chez Chess.com, travaillait à améliorer l’engagement sur la game review
  • Game review : fonctionnalité qui, après une partie, permet à un coach virtuel d’enseigner les pires coups et les meilleurs coups
  • Découverte grâce au suivi des données
    • 80 % des utilisateurs qui consultaient la game review ne l’utilisaient qu’après une victoire
    • L’équipe pensait initialement qu’ils l’utiliseraient pour analyser leurs défaites ou leurs erreurs, mais la psychologie humaine était différente
  • Changement de l’expérience produit
    • Au lieu de montrer les erreurs après une défaite, l’équipe a commencé à mettre en avant les bons coups et les meilleurs coups
    • Le coach affichait un message d’encouragement : « La défaite fait partie de l’apprentissage »
  • Résultats
    • +25 % sur la game review
    • +20 % sur l’abonnement
    • Forte amélioration de la rétention utilisateur
  • Phase d’exploitation : partager l’insight à l’échelle de l’entreprise
    • Le PM des puzzles a appliqué ce schéma positif à son propre produit
    • Affichage du taux de réussite, ajustement du copy, changement de couleur des boutons, etc.
    • Il devient possible de multiplier par 10 l’impact d’une expérience réussie

• Taux de réussite des expérimentations et amélioration continue

  • Le taux de réussite habituel des expérimentations est de 30 à 50 %
  • Les produits grand public sont très imprévisibles, et beaucoup d’hypothèses se révèlent fausses
  • Les expériences qui réussissent très fortement comme celles qui échouent lourdement ont une grande valeur
    • Il est indispensable de partager les insights à l’échelle de l’entreprise
    • Le PM d’origine n’a pas besoin de trouver lui-même tous les cas d’application
    • Si l’hypothèse et les découvertes sont formulées clairement, d’autres équipes peuvent en tirer des idées
  • Pour augmenter le taux de réussite et l’impact, les équipes se concentrent autour des insights

• Savoir quand passer d’Explore à Exploit et inversement

  • Chess.com mène environ 250 expériences par an
  • L’entreprise investit dans des Experiment Explorer Tools
    • Pour avoir une vue d’ensemble des expériences en cours
    • Pour repérer des motifs entre hypothèses et apprentissages
  • Quand le nombre d’expériences non statistiquement significatives augmente, c’est un signal d’exploitation excessive
    • Il se peut qu’il n’y ait plus grand-chose à extraire
    • Il faut alors encourager l’équipe à refaire du brainstorming et à revenir à une pensée divergente

Accélérer la croissance avec l’IA

• Fonctionnalité texte-vers-SQL

  • Utilisée sur le canal Slack de demandes data de Chess.com
    • Avant : les data analysts répondaient manuellement aux questions ad hoc (nombre d’abonnés en Afrique du Sud, temps passé sur les puzzles le mois dernier, etc.)
    • Aujourd’hui : un bot Slack exécute automatiquement les requêtes et fournit l’analyse
  • Effets
    • Le bot Slack a été entraîné pour être le premier répondant
    • Toute l’entreprise prend des décisions davantage pilotées par la donnée
    • Explosion du volume de questions
      • Les gens posent plus facilement des questions qu’ils n’osaient pas formuler avant
      • Effet similaire à ChatGPT : le fait d’avoir un interlocuteur confortable change énormément de choses

• Outils de prototypage IA

  • Ils raccourcissent le chemin entre l’idée et une solution présentable
  • Avant : plusieurs étapes avec intervention humaine (rédaction de l’idée → spec → review → design, etc.)
  • Approche de Chess.com
    • Construction de prototypes IA pour les écrans clés (flux d’onboarding, écran d’accueil, échiquier)
    • Utilisation d’outils comme v0, Lovable
    • Partage dans toute l’entreprise comme point de départ
    • Possibilité de visualiser rapidement les idées, puis de les discuter et de les tester

• Stack IA

  • PM : Vzero
  • Designer : Figma Make
  • Ingénieur : Cursor, Claude Code, GitHub Copilot
  • Marketing : outils de traduction, de sous-titrage et d’adaptation de contenu
  • Support client : Intercom Fin
  • Défi : la transition fluide du tinkering vers un workflow reste non résolue
    • Chaque fonction a ses outils préférés
    • L’interopérabilité entre outils est insuffisante
    • Des handoffs entre fonctions restent nécessaires jusqu’au déploiement en production
    • Des améliorations sont en cours via des investissements dans les composants du design system et MCP

Le plus grand succès de monétisation chez Grammarly

• Contexte et identification du problème

  • Grammarly est un assistant d’écriture basé sur l’IA, proposé sous forme d’extension Chrome ou de client desktop
  • Modèle freemium : plus de 90 % d’utilisateurs gratuits, le reste en abonnement payant
  • L’équipe de Kyla, PM de la conversion abonnement, était chargée d’améliorer le parcours de conversion du gratuit vers le payant
  • Problème initial identifié
    • Le suivi des types de suggestions reçues par les utilisateurs et de la fréquence d’exposition au paywall était insuffisant
    • Il a d’abord fallu mettre en place l’instrumentation

• Insight clé

  • Seule une très petite partie des utilisateurs gratuits accepte toutes les suggestions
    • La plupart n’en acceptent qu’une partie, de façon sélective
  • L’expérience réelle des utilisateurs gratuits : Grammarly est un outil qui corrige l’orthographe et la grammaire
    • Parce que les suggestions gratuites étaient surtout orientées précision/correction (Correctness)
  • Les fonctionnalités payantes : améliorer le ton pour le rendre plus empathique, renforcer la clarté, réécrire des phrases entières, etc.

• Solution : échantillonnage de suggestions payantes

  • Distribuer un échantillon varié de suggestions payantes dans l’ensemble de l’écriture des utilisateurs gratuits
  • Offrir un aperçu limité des fonctionnalités payantes
  • Inquiétude : en en montrant trop, l’intention d’abonnement pourrait baisser
  • Résultat : exactement l’inverse
    • Les utilisateurs ont perçu Grammarly comme un outil bien plus puissant
    • Le taux d’upgrade a presque doublé

• Enseignements sur la monétisation

  • Pour un produit freemium, le produit gratuit doit refléter l’ensemble des capacités
  • Certaines fonctionnalités payantes ont un coût, mais si on fait le maximum pour les montrer, cela finit par se rentabiliser
  • Concept de reverse trial plutôt qu’un essai gratuit limité dans le temps
    • Fournir en temps réel des améliorations pendant l’écriture
    • En proposer une quantité limitée par jour, puis réinitialiser
  • Adapter un schéma courant du secteur au cas d’usage spécifique de Grammarly

Modèle premium vs. essai

• Pourquoi choisir un modèle d’abonnement freemium

  • Orientation mission : l’objectif du fondateur est de diffuser le produit aussi largement que possible
    • Duolingo (éducation), Grammarly (écriture) et Chess.com (échecs) ont tous une proposition de valeur large à l’échelle mondiale
    • La barrière à l’entrée la plus basse, c’est un produit gratuit
  • Croissance par le bouche-à-oreille : le produit se développe principalement grâce au bouche-à-oreille
    • Possibilité de construire des effets de réseau : les fonctionnalités sociales de Duolingo
    • Le modèle B2C2B de Grammarly : des utilisateurs gratuits poussent leurs équipes ou collègues à acheter
  • La proposition de valeur centrale reste gratuite de façon permanente, avec un échantillonnage des fonctionnalités premium

• Essai (Trial) vs. essai inversé (Reverse Trial)

  • Essai inversé : puissant pour les fonctionnalités B2B, surtout lorsqu’il existe un lock-in
    • Démarrage sans carte bancaire
    • Beaucoup de temps investi dans l’usage du CRM ou la création de contenu
    • À la fin de la période d’essai, forte probabilité de conserver le produit et de payer
  • Essai gratuit classique : plus courant dans les produits grand public
    • Pour les produits grand public, l’essai inversé fonctionne plus difficilement

Les clés du succès des produits d’abonnement grand public

• L’importance de la rétention

  • La rétention utilisateur est l’or des entreprises d’abonnement grand public
  • Si la rétention est faible, tout le poids repose sur le paiement du premier jour
    • Payer le coût d’acquisition utilisateur
    • Nécessité d’un upsell agressif avant même la formation d’un usage habituel
  • Beaucoup d’apps utilisent cette approche, mais il est difficile de dépasser le stade initial

• Différences de trajectoire de croissance

  • Duolingo et Chess.com : des entreprises portées par un bouche-à-oreille organique
    • Elles croissent en élargissant le marché
    • À l’inverse d’une bataille de parts de marché dans un espace très concurrentiel
  • Dans les marchés concurrentiels, l’acquisition d’utilisateurs se joue à coups d’enchères élevées

• Objectifs de rétention

  • Rétention des nouveaux utilisateurs (D1, D7, etc.)
    • Rétention D1 de 30 à 40 % : un niveau très solide pour une app grand public
    • Si c’est nettement plus bas, cela interroge sur l’intention utilisateur ou la capacité à recruter sur une base DAU
  • C’est difficile à atteindre, car le marché offre de nombreux choix et la fatigue applicative existe
  • Rétention des utilisateurs actuels (CURR) : beaucoup plus importante
    • Pour les produits à fréquence d’usage quotidienne, c’est la métrique la plus importante
    • Elle mesure l’adhérence de la base d’utilisateurs existants qui a développé des habitudes
    • Avec le temps, elle construit une habitude quotidienne par effet cumulatif
    • À mesure que l’entreprise mûrit, l’essentiel de l’énergie se concentre sur les mécanismes de rétention des utilisateurs existants

• L’exception Grammarly

  • Après installation, Grammarly ne s’ouvre pas activement tous les jours
  • L’activation, l’installation et le moment “aha” sont extrêmement importants
    • Une seule installation peut retenir un utilisateur pendant très longtemps
  • Comme le produit fonctionne automatiquement à la frappe, les statistiques DAU ne sont pas précises

L’importance des utilisateurs ressuscités

• Composants du DAU/WAU

  • Pour une entreprise mature comme Chess.com, environ 80 % des utilisateurs actifs quotidiens/hebdomadaires sont des utilisateurs actuels ou anciens
  • Le reste se répartit entre nouveaux utilisateurs et utilisateurs réactivés (ressuscités), à des niveaux comparables
  • Une fois l’entreprise mature, l’attention se porte beaucoup sur les nouveaux utilisateurs, mais en réalité leur part n’est pas si importante

• Accumulation d’utilisateurs inactifs et occasionnels

  • Avec le temps, un très grand nombre d’utilisateurs inactifs s’accumulent
  • Utilisateurs occasionnels : ils n’utilisent pas le produit tous les jours, mais une à deux fois par semaine ou par mois
  • Au final, des centaines de millions d’utilisateurs dormants s’accumulent
  • Cela vaut la peine d’investir dans l’expérience de résurrection
    • Trouver de nouvelles façons de les faire revenir

• La stratégie de résurrection de Duolingo

  • Utilisation de notifications sociales
    • Si la synchronisation des contacts est activée, une notification push signale qu’un ami proche a commencé à utiliser Duolingo
    • Cela incite à revenir dans le produit
  • Mécanisme de replacement
    • Vous avez appris le français il y a 3 ans, mais vous en avez oublié l’essentiel
    • À la réouverture de l’app, elle recommande un test de positionnement pour vous replacer au bon niveau
  • Pour une entreprise mature, ces mécanismes offrent un ROI très élevé

Différences entre Duolingo, Grammarly et Chess.com

• Duolingo : une machine à expérimenter systématique

  • Une approche du développement produit très spécifique et cohérente
  • Rédaction et publication du playbook Green Machine
  • Esprit d’entreprise
    • Recrutement massif de talents brillants et pleins d’énergie juste après l’université
    • Mise à disposition d’outils d’expérimentation remarquables
    • Forte importance accordée à la clock speed de l’entreprise
    • Beaucoup de créativité et de génération d’idées
  • L’expérience produit change plusieurs fois par jour pour chaque utilisateur
    • À un niveau vraiment saisissant
  • Des specs et process existent à chaque étape du cycle de développement produit
    • Le tout opéré de manière très rigoureuse et cohérente
    • Les revues produit sont rapides, autour de 10 à 15 minutes

• Grammarly : une évolution du B2C vers le B2B

  • Au départ, Grammarly a commencé comme produit payant pour les étudiants
  • Puis le produit s’est progressivement élargi à un modèle premium pour tous, avec un recentrage sur les professionnels
  • Certaines fonctions spécifiques dans certaines entreprises (marketing, ventes, support client) adoptent Grammarly à grande échelle
  • Ajout d’un mouvement enterprise géré
  • Rôle d’Albert : se concentrer sur le mouvement self-serve grand public, sans l’isoler mais en l’interconnectant
    • Hausse des revenus self-serve et des utilisateurs actifs
    • Product-Led Sales : identifier les bonnes équipes/fonctions/entreprises, générer de la demande et la transmettre aux ventes
  • Évolution rapide avec le virage vers l’IA générative
    • Avec les récentes acquisitions de Coda et Superhuman, Grammarly se transforme en suite de productivité
  • Contrairement à Duolingo, cela demande davantage de décisions stratégiques
  • C’est l’équipe produit cœur qui a le plus piloté les boucles d’usage répétées
    • La fréquence et la qualité des suggestions influencent le plus la rétention des utilisateurs actuels
    • Albert a monté une équipe growth, mais a fini par réaliser que ce rôle devait en pratique être porté par l’équipe produit cœur
    • Après discussion avec les responsables du produit cœur, la responsabilité leur a été transférée

• Chess.com : une passion obsessionnelle pour les échecs

  • Les employés sont obsessionnellement passionnés par les échecs
  • Recrutement en remote dans le monde entier, uniquement de personnes qui aiment les échecs
  • Ils jouent aux échecs toute la journée et regardent des streams
  • Slack explose en permanence de coups et de parties d’échecs
  • Dans le cas de Duolingo
    • C’est un produit d’apprentissage des langues, mais son esprit d’origine est celui de la motivation
    • Le plus difficile, c’est la formation d’une habitude
    • L’apprentissage des langues n’est que le premier véhicule, et la motivation ainsi que l’habitude sont le superpouvoir
  • Dans le cas de Grammarly
    • Le produit est connu pour la correction orthographique et grammaticale, mais sa vraie singularité est son intégration à travers un très grand nombre d’applications
    • C’est désormais une superautoroute de l’IA capable d’aller bien au-delà de l’écriture grammaticale
  • Chess.com, c’est 100 % les échecs
    • Cela imprègne l’esprit de l’entreprise et les gens en sont passionnés
    • L’entreprise pratique en permanence le dogfooding
    • Une énergie incroyable à toujours utiliser le produit et proposer des idées

Comment l’IA transforme Chess.com

• La relation de longue date entre les échecs et l’IA

  • Les échecs et l’IA sont étroitement liés depuis presque un siècle
  • Les premiers pionniers de l’informatique ont choisi les échecs pour tester l’intelligence des machines
  • En 1997, Deep Blue d’IBM a battu le champion du monde Garry Kasparov
    • Un moment de choc et de réflexion sur la question de savoir si l’IA allait remplacer l’humain
    • Cela remonte à 30 ans, mais nous sommes tous toujours là, et le nombre de personnes qui jouent aux échecs n’a jamais été aussi élevé

• Les capacités actuelles des moteurs d’échecs

  • Des moteurs comme Stockfish sont de loin supérieurs aux meilleurs grands maîtres du monde
  • Comparaison via le système de classement ELO
    • Joueur d’échecs moyen : 1 000 à 1 500
    • Meilleur grand maître (Magnus Carlsen) : environ 2 800
    • Stockfish et les moteurs similaires : environ 3 600
  • Un moteur d’échecs peut rivaliser avec les meilleurs joueurs même en jouant sans pièce majeure (comme une tour)
  • Grâce à sa puissance de calcul, il effectue des dizaines de millions de calculs par seconde, ce qui rend toute compétition humaine impossible
  • Observer le jeu des moteurs d’échecs ouvre sur une nouvelle créativité, de nouvelles stratégies, de nouvelles lignes et une nouvelle appréciation du jeu

• L’approche de Chess.com pour exploiter l’IA

  • Rendre cette technologie accessible à tous les utilisateurs, y compris à ceux qui viennent de déplacer leurs premières pièces
  • Produit d’analyse de partie : exécute un moteur d’échecs en arrière-plan pour générer une évaluation de chaque coup
  • Présenté aux utilisateurs dans un style traduit et accessible
    • Dans la langue maternelle de l’utilisateur
    • Aussi disponible en audio
  • Usage des LLM : la partie qui transmet une personnalité et un ton à l’utilisateur
  • Principe central : mettre le client en premier
    • Ne pas appliquer des LLM simplement parce que c’est à la mode
    • Appliquer la bonne technologie à la bonne fonctionnalité pour créer de la valeur pour l’utilisateur
    • Ne pas se laisser emporter par le battage médiatique

• Les capacités des LLM à jouer aux échecs

  • De manière surprenante, les LLM eux-mêmes jouent très mal aux échecs
  • Ils hallucinent ; ils reconnaissent bien les motifs de déplacement, mais ne sont pas capables d’analyses échiquéennes très profondes
  • Si l’on demande à ChatGPT de générer une image d’échiquier, le nombre de cases peut être faux ou la configuration inadéquate
  • On s’attend à ce que leurs capacités de raisonnement s’améliorent
  • Google a récemment sponsorisé un tournoi où tous les meilleurs LLM s’affrontaient
    • Ils progressent, mais pour les échecs, des moteurs de calcul profond entraînés restent bien plus puissants que les LLM

• AlphaZero et AlphaGo

  • Le documentaire sur AlphaGo exprime des contenus techniquement profonds de manière émotionnelle et humaine
  • Méthode d’entraînement d’AlphaZero : jouer un très grand nombre de parties contre lui-même
    • Il devient plus intelligent à chaque fois grâce au réseau de neurones
    • Répété des milliards à des milliers de milliards de fois, il devient extrêmement compétent

Comment l’IA transforme les rôles liés à la croissance

• Définition de la croissance

  • Le rôle de la croissance : relier les utilisateurs à la valeur du produit
  • Structurer les équipes en fonction de chaque élément du parcours utilisateur
    • Chaque équipe dispose d’un objectif de métrique spécifique et d’une roadmap
    • Exécuter en fonction de l’objectif
  • L’IA peut accélérer certains éléments du cycle d’expérimentation

• L’usage de l’IA dans la découverte produit (Product Discovery)

  • Le produit cœur nécessite des horizons plus longs et une étude approfondie des utilisateurs et du marché
  • La croissance consiste à mener de nombreuses expérimentations, dont le résultat alimente l’idée suivante
  • Approche classique : rédiger manuellement des documents d’analyse
    • Les lire et en tirer des insights
    • Traduire les idées en autres spécifications
  • Usage de l’IA
    • Utiliser des outils comme ChatGPT pour résumer les analyses d’autres personnes
    • Obtenir des conseils sur les idées à tester
    • Le cycle d’idéation et de recherche est beaucoup plus rapide
  • Le prototypage est lui aussi considérablement raccourci
    • On n’en est pas encore au stade où les PM déploient eux-mêmes du code en production
    • En particulier, le temps nécessaire pour concevoir des idées audacieuses est fortement réduit

• Impact sur l’exploration et l’exploitation

  • Avant, l’exploration (Explore) était plus difficile
  • Aujourd’hui, explorer est beaucoup plus facile
    • Il est possible de visualiser des concepts très variés
    • Une fois visualisés, les équipes peuvent en discuter ensemble et cliquer dessus
    • Cela crée une différence qui change la donne

Conseils pour passer à l’échelle dans l’expérimentation

• Premier conseil : commencer, tout simplement

  • Rapport d’Atlassian sur l’état des produits : 40 % des équipes produit ne mènent aucune expérimentation
  • Cela peut se comprendre pour des raisons philosophiques ou dans une orientation B2B
  • Mais pour un produit grand public avec une certaine taille et une certaine fréquence d’usage
    • Il est possible de collecter suffisamment de données
    • Même avec beaucoup d’expérience, on se trompe souvent
    • Le comportement des consommateurs est très changeant
    • Quand on travaille dans l’entreprise, on devient naturellement un power user, et l’on oublie l’expérience des nouveaux utilisateurs
  • Il est recommandé de faire le premier pas
    • Lancer des tests A/B
    • Trouver un outil tiers et l’intégrer rapidement
    • Construire quelque chose avec les ingénieurs
    • Pratiquer l’approche crawl-walk-run

• Outils préférés

  • Chez Grammarly, utilisation de StatSig (récemment acquis)
  • Duolingo et Chess.com disposent d’outils d’expérimentation internes
  • Il y a des avantages et des inconvénients
    • Duolingo est une machine à expérimenter, donc un outil sur mesure y est un grand accélérateur
  • En général, il n’est pas recommandé de construire en interne dès le départ
    • Cela peut avoir du sens à une certaine échelle
    • Ces entreprises ont été fondées il y a 15 ans, à une époque où ces outils n’existaient pas

• Deuxième conseil : le système compte autant que chaque expérience

  • Le système est au moins aussi important que chaque expérience, peut-être même davantage
  • Commencer par le modèle de croissance
    • Comprendre comment l’entreprise grandit
    • Identifier les canaux à exploiter
  • L’instrumentation produit est indispensable
    • Sinon, les résultats des expérimentations deviennent étranges
  • Cas réel : dans une entreprise, un outil d’expérimentation interne était utilisé
    • Trois mois plus tard, ils ont découvert que la rétention utilisateur était configurée à l’envers
    • Tous les résultats positifs étaient en réalité négatifs
    • La situation était très embarrassante, et cela ne se reproduira plus

• Troisième conseil : partager et diffuser les insights

  • Lorsqu’on découvre une expérience très réussie ou un grand échec
    • La partager clairement à toute l’entreprise
    • Exprimer clairement l’hypothèse et les enseignements
    • Le PM d’origine n’a pas besoin de trouver seul toutes les façons de l’appliquer
  • En tant que responsable growth, encourager les autres à se mobiliser (swarm) autour des idées
    • Amélioration du taux de réussite
    • Augmentation de l’impact

Objectif de 1 000 expérimentations par an

• Le parcours de Chess.com dans l’expérimentation

  • Avant 2023 : presque aucune expérimentation
  • L’an dernier : environ 50
  • Cette année : environ 250 en cours
  • Objectif pour l’an prochain : 1 000

• Le vrai sens de cet objectif

  • C’est un objectif créé par Albert, mais le chiffre en lui-même n’est pas le but
  • La vraie valeur de la fixation d’un objectif : susciter des conversations sur ce qui doit être vrai
  • Enseignements pour atteindre l’objectif
    • Il n’y a pas que les PM ou l’ingénierie qui expérimentent
    • Marketing lifecycle : expérimenter sur les notifications push et les textes des e-mails
    • App Store : expérimenter sur les captures d’écran, les mots-clés, etc.
    • Équipe de content marketing, entre autres
    • Activer du no-code sur certains écrans sans support de l’ingénierie
      • De nombreux tests configurables sur l’écran d’accueil ou l’écran de tarification
    • Suivre l’avancement et garantir l’observabilité
  • Plus que d’atteindre réellement 1 000, le plus important est d’accomplir ces éléments
  • Si l’on s’en approche et qu’on y parvient, on est dans une très bonne situation

Comment opérer un changement de culture

• Le changement culturel radical chez Chess.com

  • Passage de 0 expérimentation à 1 000 en 2 ans (environ 3 par jour)
  • De nombreuses équipes mènent des expérimentations en parallèle

• Facteurs de réussite du changement culturel

  • Le soutien du leadership

    • Une grande partie du mérite revient au CEO et aux cofondateurs Eric et Danny
    • L’expérimentation ne correspondait pas naturellement à leur manière de penser
    • Elle a été ajoutée à leur boîte à outils grâce à leur souplesse d’esprit et à leurs encouragements
    • Ils ont porté sur le terrain la croissance pilotée par le produit et l’expérimentation
    • Il est très important de ne pas se mettre en opposition avec les fondateurs et les approches existantes

  • Partager des réussites concrètes

    • Comme avec les revues de parties et les exemples de positivité, il faut montrer ce qui fonctionne réellement
    • Il faut des victoires (wins) : les célébrer et faire en sorte que les gens associent l’apprentissage à quelque chose de positif
    • Quand cela s’applique partout, tout le monde y gagne en énergie
    • Les métriques évoluent et l’on apprend et déploie plus vite
    • Il ne suffit pas de fixer des objectifs d’en haut
    • Les gens doivent voir ce qui fonctionne

  • Les premières expérimentations

    • Certaines expérimentations étaient déjà en cours avant l’arrivée d’Albert
    • La dynamique était déjà lancée

Enseignements supplémentaires sur l’expérimentation

• Le cas de réussite de Duolingo

  • Streak et engagement

    • Jackson en a parlé dans un podcast
    • Effet sur l’apprentissage grâce à l’engagement et à l’affichage du streak dans le calendrier
    • Il est plus important de commencer que d’atteindre un grand jalon

  • L’équipe Virality

    • La viralité est un concept très flou et très difficile à générer dans un produit
    • Duolingo est un produit largement partagé
    • Investissement dans le suivi des captures d’écran
      • Identifier les hotspots où les utilisateurs font des captures dans l’app
      • Trouver des moyens de l’observer aussi dans d’autres apps
      • Mené seulement sur une période donnée
    • Hotspots de partage découverts
      • Jalons de streak : point de partage évident
      • Défis très amusants : taux de partage très élevé
      • Entrer dans le top 3 du leaderboard n’est pas un moment de partage
    • Placer illustrateurs et animateurs sur ces moments
    • Créer une expérience très plaisante
    • Résultat : cela a remarquablement bien fonctionné
    • Enseignement : ne pas forcer le partage au mépris de l’intuition humaine
      • Identifier les moments que les utilisateurs capturent déjà organiquement
      • Rendre ces moments bien, bien meilleurs
      • Les amplifier par 5 ou 10 pour générer beaucoup de croissance

Les trois piliers de la gamification

• Le modèle de gamification de Jorge

  • Les schémas de gamification reposent essentiellement sur trois piliers

  • 1. La boucle centrale (Core Loop)

    • Duolingo : progression dans les leçons
      • Finir une leçon → obtenir une récompense → prolonger le streak
      • Notification push le lendemain
    • Il est important de rendre la boucle centrale très serrée
      • Il faut une habitude à laquelle les gens s’attachent

  • 2. Le métajeu (Metagame)

    • Duolingo : Path, leaderboard, succès
    • Des objectifs à poursuivre sur le long terme
    • Fournit une motivation de long terme pour rester actif

  • 3. Le profil (Profile)

    • Construire un profil au fil du temps
    • Reflète l’investissement dans l’expérience produit
    • Si ces trois éléments sont réunis, le parcours d’apprentissage sur le long terme a plus de chances de réussir

• Le défi des nouveaux utilisateurs chez Chess.com

  • Plus de 75 % des nouveaux utilisateurs sont classés comme complets débutants ou niveau débutant
  • Les débutants ne prennent pas plaisir aux parties en direct
    • Donnée : taux de victoire à la première partie inférieur à 1/3
    • En cas de défaite, la rétention utilisateur se dégrade de 10 %
    • À grande échelle, c’est mauvais
  • Dans les jeux mobiles classiques, on crée une version très simplifiée
    • Aux échecs, c’est plus difficile (on ne peut pas changer les règles)

• L’importance des premières étapes d’apprentissage

  • Que ce soit pour apprendre une langue ou les échecs, les premières étapes sont pleines de doute sur soi
  • Des expériences qui renforcent l’idée qu’on n’y arrivera pas
  • Cela vaut la peine de concevoir intentionnellement une expérience qui aide les utilisateurs à contourner cela

• La solution de Chess.com

  • Si l’utilisateur se dit totalement débutant, proposer une expérience d’apprentissage par le jeu plus agréable
    • Ne pas l’envoyer directement dans une partie en direct
  • Masquer le rating pendant les 5 premières parties
    • Pour éviter qu’il ne voie sa note chuter brutalement
  • Divers parcours : jouer avec un coach, avec des amis, contre des bots, etc.
  • Astuces en temps réel : tout en jouant contre une vraie personne, guider sur le coup à jouer
    • Aider à gagner

Leçons contre-intuitives sur la construction d’équipe

• L’approche de recrutement traditionnelle

  • Rédiger une JD (fiche de poste)
    • Énumérer les différentes qualités recherchées
  • Établir une shortlist d’entreprises similaires à la sienne
  • Essayer d’y recruter
  • Le parcours par défaut classique dans le secteur

• La découverte d’Albert : la forte agency (High Agency)

  • Une prise de conscience née de plusieurs petites startups et de son expérience chez Duolingo
  • Caractéristiques des meilleurs performeurs
    • Très forte agency
    • Clock speed : rapidité de pensée et d’action
    • Énergie
    • De l’intérêt pour la mission, mais une expérience approfondie n’est pas forcément nécessaire
  • L’expérience peut au contraire devenir une béquille (crutch)
    • Surtout dans un monde où les fondations changent rapidement avec l’IA
    • Il faut désapprendre intentionnellement beaucoup d’habitudes acquises
    • Il faut un Beginner’s Mind
  • Chercher des personnes qui réagissent et avancent vite
  • Une vitesse d’apprentissage élevée
  • Ce sont ces entreprises-là qui survivront et prospéreront

• Comment identifier une forte agency

  • Une grande partie se joue en dehors du processus d’entretien
  • Signaux
    • Type de questions : la personne a-t-elle vraiment essayé le produit et creusé en profondeur ?
    • Références
    • Communication pour organiser l’entretien
    • Énergie apportée à la conversation
  • On peut capter de nombreux signaux faibles
  • Avec le temps, on apprend à reconnaître ces schémas
  • Avant, il ne lisait que les réponses aux questions et la grille d’évaluation, sans prêter attention au reste
  • Désormais, il prend tout cela en compte de manière bien plus équilibrée
  • Il y a une part de vibes
  • Favorable au format d’entretien en work trial
    • Au lieu d’un entretien de discussion, travailler réellement ensemble pendant environ une semaine

Choisir la taille d’entreprise

• La zone Goldilocks d’Albert

  • Une expérience allant de Google (grand groupe) à des startups ultra-petites
  • Il a trouvé l’environnement qui lui convient : une entreprise de taille intermédiaire

• Les caractéristiques de chaque taille

  • Grand groupe (Google)

    • Gérer une échelle immense
    • Apprendre de nombreuses bonnes pratiques auprès de ses collègues
    • Disposer de tous les outils et de toutes les fonctionnalités souhaités
    • Mais avec une tendance à avancer lentement
    • Difficile de déployer et de lancer des choses
    • Au final, cela rend un peu fou

  • Startup ultra-petite

    • Ça va très vite
    • Mais c’est aussi là que sont apparus tous les cheveux blancs d’Albert
    • Personne ne connaît l’entreprise
      • Il faut recruter les gens un par un
      • Acquérir les utilisateurs un par un
    • On peut apprendre vite et déployer beaucoup, mais
    • avoir un gros impact sur le monde peut être extrêmement difficile
    • Certaines passent à l’hypercroissance et réussissent, mais
    • Albert a essayé cette voie pendant un temps et a conclu qu’elle ne lui convenait pas

  • Taille intermédiaire (500 à 1 000 personnes)

    • Permet de contribuer à une certaine échelle tout en
    • exécutant au rythme du quotidien et de la semaine
    • On peut voir les efforts à l’échelle de l’entreprise tout en
    • entrant dans les détails
      • Lire les résultats d’expériences
      • Examiner les pixels
      • Collaborer avec une équipe précise
    • Des entreprises âgées de 10 à 20 ans
      • Solides et idéalement rentables
      • Une bonne équipe dirigeante
      • Avec encore de nombreuses dimensions à découvrir
      • À un point d’inflexion majeur
      • Dynamiques, pas figées

• L’étape optimale pour chacun

  • Chacun a un stade d’entreprise dans lequel il donne le meilleur de lui-même
  • Le parcours d’Albert : grande entreprise tech → startup ultra-petite → taille intermédiaire
  • Le milieu est sa zone Goldilocks

Le coin des échecs : le cas Chariot

• Contexte

  • Un service de navettes domicile-travail à San Francisco
    • Des navettes de 15 places
    • Reliant plusieurs quartiers au centre-ville de San Francisco
  • À mi-chemin entre le réseau de bus public et Uber/Lyft
  • Albert y travaillait comme responsable produit
  • Le service principal était très apprécié des utilisateurs
    • Fiable, rapide et suffisamment abordable

• La tentative ratée : Chariot Directly

  • L’idée : améliorer l’utilisation grâce à un itinéraire dynamique
    • Pour en faire quelque chose de plus innovant, à la manière d’Uber/Lyft
  • Les chauffeurs suivaient un itinéraire fixe mais
    • s’ils avaient du temps libre, ils pouvaient s’écarter du trajet pour venir chercher quelqu’un à domicile
  • Ils ont essayé, mais au final, cela n’a pas fonctionné

• Les leçons retenues

  • 1. Une solution en quête de problème

    • Ils ont poursuivi l’idée de « ce ne serait pas bien si… »
    • Au lieu de partir de « voici qui sont nos utilisateurs et voici le problème que nous résolvons »
    • Ou de « voici pourquoi cela va les ravir »
    • Il ne faut pas partir de la solution plutôt que du problème

  • 2. Prendre en compte un marché biface (marketplace)

    • Il y a plus d’un utilisateur final
    • Ils se sont trop focalisés sur l’app passager
    • Sans réaliser que les chauffeurs portaient une grande partie de la charge de l’expérience
    • Idem pour l’équipe opérations
    • Si les chauffeurs sont perdus ou insatisfaits,
      • l’expérience produit globale peut devenir difficile

  • 3. Le risque des RP avant validation

    • Ils ont fait beaucoup de RP avant le lancement du service pour créer du bouche-à-oreille
    • Les RP ont leur moment et leur place
    • Mais les faire avant d’avoir validé que les clients le veulent vraiment est très risqué
    • Après le lancement, cela a créé beaucoup de coûts irrécupérables (Sunk Cost)
      • Il fallait aller jusqu’au bout
      • Ils voulaient voir le succès arriver

• Rétrospective

  • Cela remonte à 10 ans, mais il s’en souvient encore très clairement
  • Il a passé de bons moments dans l’entreprise
  • L’expérience contient plus de trois leçons essentielles
  • Des leçons qu’il a ensuite transmises en construisant de nombreux produits

Lightning round

• Livres recommandés

  • Ce qu’il lit en ce moment

    • Avec des enfants de 4 ans et 1 an, il lit surtout des livres pour enfants
    • Snuggle Puppy : il y a une chanson, sa fille éclate de rire, et ça lui réchauffe le cœur

  • Recommandation lecture pro : Ogilvy on Advertising

    • Un livre vieux de 40 ans, mais rempli d’exemples pratiques
    • Sur le copywriting et la création
    • Une publicité à l’ancienne, mais avec une approche orientée expérimentation
    • Ce qui compte au final : amener l’utilisateur à agir
    • L’objectif est d’acheter le produit
    • Pas de faire une pub astucieuse ou une créa sexy
    • Très juste pour les équipes produit et lifecycle

  • Dark Squares

    • Les mémoires de Danny Wrench, cofondateur de Chess.com
    • Une figure très connue dans le monde des échecs
    • Le récit de sa jeunesse comme prodige des échecs, dans le cadre d’une secte abusive
    • Une histoire incroyable
    • Il en est actuellement à peu près à la moitié
    • Cela rappelle à quel point on ignore la profondeur du passé des gens avec qui l’on travaille
    • Le titre évoque à la fois les cases sombres de l’échiquier et un passé difficile
    • La sortie est prévue au moment de la publication de ce podcast

• Devise de vie

  • La phrase de sa mère : « Rien n’est plus important que la réputation »
  • Une compréhension généreuse
    • Les petites décisions prises chaque jour
    • La manière dont on traite les gens
    • La manière dont on se présente
    • Le caractère que l’on montre
  • Tout cela s’accumule comme des intérêts composés et ouvre des portes de façon étonnante et remarquable
  • Beaucoup d’entreprises qu’il a rejointes lui sont venues par des liens assez légers
  • Même ce podcast, il a vu que des personnes avec qui il avait travaillé y étaient passées
  • Faire ce qui est juste et construire une bonne réputation peut vous mener loin
  • À l’inverse, la réputation est fragile
    • Si l’on fait la mauvaise chose, il faut longtemps pour s’en remettre
  • Une devise de vie intéressante qui lui est restée en tête toute sa vie

Message clé

• Révélation : il est important de rester fidèle à l’expérience réelle
  • Beaucoup de leçons viennent des tentatives des autres
  • Jouer le rôle d’une éponge mentale
  • Essayer des choses variées
  • Absorber et mettre immédiatement en pratique
  • Jeter ce qui ne fonctionne pas et évoluer selon les besoins de l’entreprise

[t7vonn]

Ça rappelle quelqu’un de cette entreprise de messagerie récemment au cœur d’une controverse...