Lean Analytics à l’ère de l’IA et des agents, une relecture

• Le framework central de Lean Analytics, publié en 2013 (identifier le stade, comprendre le modèle économique, OMTM, benchmarks), reste valable, mais la plupart des métriques concrètes doivent être redéfinies pour l’ère de l’IA
• Dans les produits IA, le temps jusqu’à la valeur (Time to Value) s’est extrêmement raccourci, et les utilisateurs attendent un résultat de haute qualité dès le premier essai, puis décrochent vite en cas d’échec
• L’engagement ne se mesure plus simplement comme élevé ou faible : il devient un indicateur directionnel qui doit distinguer à quoi le temps est consacré (se débattre vs travail effectué par l’IA vs exploration)
• En raison de la nature probabiliste des sorties de l’IA, la qualité est devenue une métrique de premier ordre ; sans harness d’évaluation (eval harness), un produit n’est rien d’autre que des « vibes »
• Avec une structure de coûts variables fondée sur les tokens, les power users peuvent au contraire générer des pertes ; suivre la marge brute par utilisateur actif et adopter des modèles tarifaires fondés sur la performance devient donc un enjeu clé

---

Résumé des principes fondamentaux de Lean Analytics

• Lean Analytics repose sur 4 idées clés : identifier le stade, comprendre le modèle économique, OMTM (One Metric That Matters), benchmarks (lines in the sand)
• Le modèle en 5 étapes : Empathy → Stickiness → Virality → Revenue → Scale, le parcours que traversent toutes les entreprises
  • Beaucoup de fondateurs se mentent sur leur propre stade et cherchent une croissance en courbe de crosse de hockey sans base solide ; cette tendance reste la même à l’ère de l’IA
• 6 archétypes de modèles économiques : SaaS, e-commerce, marketplace biface, contenus générés par les utilisateurs/communauté, applications mobiles, médias
  • Cette classification est datée, mais le principe consistant à comprendre comment fonctionne son activité reste important
• OMTM : quel que soit le stade ou le modèle économique, il existe une métrique unique sur laquelle se concentrer
  • Comme on ne peut pas tout corriger en même temps, elle sert à identifier sur quoi travailler et comment le mesurer
• Benchmarks (lines in the sand) : des critères qui indiquent si l’on a atteint le niveau requis pour passer à l’étape suivante
  • Dans les produits IA et agents, les métriques et les objectifs évoluent rapidement

Ce qui ne change pas à l’ère de l’IA

• Les principes fondamentaux ne changent pas, mais les entreprises construites aujourd’hui sont fondamentalement différentes
• L’IA transforme l’interface utilisateur, les modèles tarifaires et les marges, et les produits AI-first ainsi que les produits agentiques se distinguent jusque dans leur mode d’usage
• Le modèle en 5 étapes ne disparaît pas, mais chaque étape est désormais assortie d’un point d’interrogation — il faut redéfinir chaque étape en combinant les anciennes et les nouvelles métriques

Indicateurs produit : 6 changements clés

• Shift 1 : l’effondrement du temps d’accès à la valeur (Time to Value)

  • Le SaaS traditionnel faisait découvrir la valeur via un onboarding progressif, mais dans les produits IA, les utilisateurs attendent des résultats immédiats et de haute qualité
    • Ils s’attendent à transformer un document brouillon en proposition propre, une feuille de calcul en analyse, un croquis de wireframe en UI fonctionnelle
    • Les modes d’entrée varient, mais l’attente reste la même : une sortie rapide et de haute qualité, dès le premier essai
  • Le temps d’accès à la compétence (Time to Competency) s’effondre lui aussi — même des utilisateurs non techniques peuvent produire des résultats de niveau expert sans courbe d’apprentissage
    • Là où la courbe d’activation correspondait auparavant à une courbe d’apprentissage, elle se réduit désormais à une ou deux interactions
  • C’est positif, mais cela peut avoir un impact négatif sur le modèle économique : si une personne accomplit avec l’IA le travail de trois, cela pèse sur le nombre de sièges, les revenus d’expansion et la courbe d’ACV
    • Des utilisateurs satisfaits, moins de sièges — cette tension commence avec le Shift 1 et se répercute sur tous les indicateurs en aval
  • À mesurer : le temps jusqu’au premier résultat utile, et la part d’utilisateurs qui obtiennent un résultat utile dès la première tentative, qu’il s’agisse d’un prompt, d’un upload ou d’un croquis

• Shift 2 : l’activation n’est plus décisive

  • Dans le SaaS traditionnel, l’activation est un événement déterministe (deterministic) — l’utilisateur termine des étapes définies et obtient un résultat prévisible
  • Dans les produits IA, on peut compléter toutes les étapes du funnel d’activation et recevoir malgré tout un résultat insuffisant
    • Cela apparaît comme une activation dans le dashboard, alors qu’en réalité ce n’en est pas une
  • L’activation n’est plus une porte binaire, mais un événement pondéré par la qualité
  • Le modèle Hooked de Nir Eyal (déclencheur → action → récompense variable → investissement) reste valable, mais dans une boucle IA, il existe de la variabilité de part et d’autre de l’action
    • Les utilisateurs testent le produit d’une manière qu’on n’avait pas conçue, et la qualité des résultats varie aussi — une seule boucle avec deux sources de variabilité
  • Les activations composées en plusieurs étapes restent pertinentes pour les produits IA — connecter du contexte, téléverser des références, configurer des templates peut même être plus efficace lorsque cela améliore la qualité de la première exécution
    • Le changement clé n’est pas que « l’activation s’est raccourcie », mais que le fait de terminer les étapes ne garantit pas la délivrance de valeur
  • À mesurer : suivre en parallèle les métriques classiques de complétion du funnel et les signaux de qualité du premier essai du Shift 1 — le funnel indique l’achèvement des étapes, le signal qualité indique si de la vraie valeur a été délivrée, et les deux doivent apparaître côte à côte dans le dashboard

• Shift 3 : l’engagement est un indicateur directionnel

  • Dans la logique traditionnelle, plus le temps passé dans le produit est long, mieux c’est — longues sessions, DAU élevés, usage profond des fonctionnalités figurent dans les decks d’investisseurs
  • Avec l’IA, la question clé n’est pas de savoir si l’engagement monte ou baisse, mais à quoi sert le temps de l’utilisateur
    • Le temps de lutte (régénérations, reformulations de prompts, ajustements des entrées pour obtenir un résultat utile) = mauvais engagement, un échec maquillé en engagement
    • Le temps pendant lequel l’IA travaille à la place de l’utilisateur (manipulation de feuilles de calcul, génération de propositions, revue de documents) = bon engagement, signe du travail effectué par l’IA
    • Le temps d’exploration et de création (brainstorming, idéation, itérations de design) = bon engagement, où l’intuition traditionnelle reste valable
    • Temps utilisateur nul, tâche accomplie = résultat idéal pour les produits agents et d’automatisation
  • GitHub Copilot considère le taux d’acceptation des suggestions comme un indicateur clé, avec un niveau d’environ 27 à 30 % dans l’industrie
    • Un KPI absent du SaaS traditionnel, qui mesure directement non pas « l’utilisateur est-il resté ? », mais « le travail de l’IA a-t-il été utile ? »

• Shift 4 : la stickiness n’est plus une barrière, mais un flux (Flow)

  • La stickiness traditionnelle était un jeu de fréquence (DAU/MAU, retour, boucles d’habitude), et Andrew Chen a déjà souligné les limites du DAU/MAU — mal adapté aux produits épisodiques mais à forte valeur, ou aux outils au rythme hebdomadaire
  • L’IA ne fait pas disparaître le DAU/MAU, mais amplifie ses limites existantes
  • Deux phénomènes se produisent en même temps :
    • Les utilisateurs attendent des produits IA une plus grande variété de tâches que des outils SaaS historiques à fonction unique — la diversité des tâches par utilisateur (task diversity per user) devient un vecteur de croissance inédit
    • Un produit IA sticky n’existe pas comme une barrière qui enferme l’utilisateur, mais dans le flux de travail — ce qui rejoint l’idée de Trace Cohen : « Moats are dead. Long live canals »
      • « Les douves se développent par l’exclusion, les canaux par le débit »
  • À mesurer :
    • Diversité des tâches — les utilisateurs étendent-ils le produit à des cas d’usage hors de son périmètre initial ?
    • Profondeur d’intégration — combien d’outils et de sources de données de l’utilisateur sont connectés au produit ?
    • Diversité des déclencheurs — le retour de l’utilisateur dépend-il d’un seul facteur ou de plusieurs ?
    • Chaînage des workflows — le produit fait-il des handoffs vers d’autres outils, ou en reçoit-il ?
  • Quand l’humain n’est plus l’utilisateur principal, le DAU/MAU classique devient un indicateur problématique
  • Indicateur supplémentaire de largeur de remplacement (replacement breadth) : nombre d’outils adjacents, d’abonnements ou de processus manuels remplacés lorsqu’un client adopte le produit
    • Si la réponse est 0, c’est un petit canal contournable ; si elle est significative, c’est un passage obligé pour tout le reste

• Shift 5 : la qualité devient un indicateur de premier plan (First-Class)

  • Même cause racine que le Shift 2 : la sortie de l’IA est probabiliste, pas déterministe — ce changement se répercute sur tous les indicateurs hérités du playbook SaaS
  • Avant : une fonctionnalité marchait ou non — on l’instrumentait après déploiement puis on passait à la suite
  • Réalité de l’IA : la sortie est une distribution, pas une propriété — un produit bon à 80 % et un produit bon à 95 % sont perçus comme deux produits totalement différents par les utilisateurs
  • Cas Klarna : après l’introduction en 2024 d’un support client dédié à l’IA, l’entreprise affirmait que l’IA assurait le travail de 700 conseillers, avant que le CEO ne fasse publiquement marche arrière à la mi-2025 et ne reprenne les embauches humaines
  • Fragilité (brittleness) — la qualité peut régresser silencieusement à cause de modèles que l’on ne possède pas, d’intégrations que l’on contrôle à peine, ou de mises à jour de fournisseurs upstream
    • La qualité peut baisser même si l’équipe ne touche pas au code — une nouvelle catégorie de risque
  • Parade : effectuer des évaluations comparatives entre modèles sur des prompts réels, en exécutant les mêmes evals sur tous les modèles pour détecter régressions et améliorations
  • À mesurer :
    • Le taux de pouces levés (thumbs-up rate) et le taux de régénération (regenerate rate) sont des signaux clés
    • Suivre les scores des harness d’eval dans le temps comme on le ferait pour la rétention, sur tous les modèles utilisés
    • Distribution de qualité par cohorte — nouveaux utilisateurs et power users ne vivent pas le même produit, et la plupart des équipes ne mesurent pas cet écart
  • Point de vue d’Alistair Croll : si, à l’époque du Lean Startup, le MVP était l’expérience minimale destinée à tester l’hypothèse la plus risquée, alors à l’ère de l’IA, la suite d’evals est le MVP — « l’ensemble minimal d’actions permettant d’automatiser et de mesurer l’amélioration »

• Shift 6 : la confiance et l’aisance vis-à-vis de l’IA sont des indicateurs avancés

  • La maîtrise technique a toujours compté, mais avec l’IA, le niveau d’aisance avec la technologie elle-même devient une variable qui influence tous les indicateurs en aval
  • Étude Gallup de février 2026 (23 717 salariés américains) : ce qui distingue les adopteurs de l’IA des non-adopteurs n’est pas l’accès aux outils, mais le fait de considérer l’IA comme utile, éthique et adaptée à leur workflow
  • Stanford 2026 AI Index Report : le taux d’adoption mondial des salariés est de 58 %, contre 28,3 % aux États-Unis, très loin derrière Singapore à 61 % et les UAE à 54 %
    • Un même produit peut donc reposer sur des groupes d’utilisateurs radicalement différents, et la plupart des équipes ne le mesurent pas
  • En B2B, les courbes d’activation, de stickiness et de diversité des tâches peuvent être sensiblement différentes entre utilisateurs natifs de l’IA et utilisateurs réticents à l’IA
    • Les utilisateurs natifs de l’IA étendent l’outil, rédigent des prompts de manière non prévue et extraient davantage de valeur par session
    • Les utilisateurs réticents à l’IA sous-utilisent l’outil avec prudence et concluent discrètement : « ce n’est pas pour moi »
    • Si l’on mesure tout cela comme une seule cohorte, la moyenne masque la réalité
  • En B2C, les produits de compagnonnage, de soutien en santé mentale, d’amitié et de bien-être émotionnel émergent comme une véritable catégorie

• Données de Stanford : 52 % des répondants dans le monde se disent enthousiastes à l’idée d’un compagnon IA, avec plus de 80 % à Singapour et en Indonésie

  • Dans ce contexte, la création de valeur se mesure à travers la participation continue, le dialogue et l’intention d’interaction émotionnelle des utilisateurs
  • La confiance n’est pas un concept unique, mais se décline en au moins 4 dimensions indépendantes :
    • confiance dans les résultats (exactitude, utilité), confiance dans le traitement des données (où vont les prompts), confiance dans la sécurité (risques d’abus ou de fuite), confiance dans la fiabilité (si l’on peut s’y reposer sans mauvaise surprise)
  • Éléments à mesurer :
    • courbes d’adoption et d’activation par cohorte de niveau d’aisance avec l’IA
    • taux d’acceptation (accept rate) — analysé par cohorte de niveau d’aisance avec l’IA, il permet d’identifier la vitesse de construction de la confiance ; la pente de la courbe importe plus que la valeur absolue
    • taux d’override (override rate) — fréquence à laquelle l’utilisateur réécrit ou modifie les résultats de l’IA ; une baisse est le signe d’une confiance en hausse
    • pour les produits B2C à dimension émotionnellement intime : profondeur de session, taux de retour vers les fonctionnalités sensibles, tonalité qualitative des interactions
    • signaux de préoccupations liées aux données et à la sécurité : opt-out de fonctionnalités, tickets de support du type « Où est-ce que ça va ? », évitement des saisies sensibles

Indicateurs du modèle économique : 3 changements clés

• Shift 1 : le coût par tâche réussie devient le nouveau calcul du CAC

  • SaaS traditionnel : CAC, LTV et marge brute relativement stables par client, coûts en baisse avec l’échelle, coût marginal d’ajout d’un utilisateur presque nul
  • Réalité de l’IA : ce sont les power users qui génèrent réellement des coûts — les tokens sont un coût variable, abonnement forfaitaire + gros utilisateurs = marge négative par compte
    • La courbe de LTV du SaaS ne tient plus ; plus l’usage augmente, plus l’économie unitaire se dégrade : une structure inversée
  • À mesurer : marge brute par utilisateur actif (et non par utilisateur payant), coût par tâche réussie, part du coût du modèle dans le chiffre d’affaires, coût marginal des power users contre revenu marginal
  • Fin d’Intercom : non pas une facturation par siège, mais 0,99 $ par résolution réussie — une tarification basée sur le résultat, mathématiquement honnête vis-à-vis des coûts d’exploitation réels d’un produit IA
  • ElevenLabs facture à l’usage dès le premier jour, Anthropic et OpenAI se débattent publiquement avec l’économie des abonnements grand public
  • Si la tarification et les indicateurs ne reflètent pas les coûts variables de calcul, on avance à l’aveugle

• Shift 2 : la tarification devient une décision produit

  • La tarification à l’usage et à la performance n’en est qu’à ses débuts ; un modèle hybride (petit abonnement mensuel + usage + dépassements) est probablement la forme finale de la plupart des produits IA
  • Le modèle tarifaire communique à l’utilisateur la définition du succès — il doit être aligné avec l’économie unitaire sous-jacente ; sinon, on érode la marge ou on limite la croissance (ou les deux)
  • « IA illimitée à 20 $/mois » et « 0,99 $ par résultat réussi » ne sont pas seulement deux modèles tarifaires différents, mais deux produits totalement différents du point de vue de l’utilisateur
    • Le premier dit : « expérimentez librement, nous prenons en charge le coût d’apprentissage »
    • Le second dit : « nous ne gagnons que lorsque vous gagnez »
  • La plupart des PM n’avaient pas besoin de réfléchir profondément à la tarification, mais les PM natifs de l’IA doivent traiter le prix comme un élément central de la conception produit
  • Contrairement aux fonctionnalités SaaS traditionnelles, les fonctions IA ne coûtent pas peu à exécuter — une fonction IA coûteuse mais de faible valeur utilisateur peut faire dérailler l’ensemble

• Shift 3 : l’expérimentation n’est plus un vanity metric

  • Le développement de produits basé sur l’IA a fait exploser la vitesse de déploiement — le coût de lancement d’une fonctionnalité s’est effondré
  • Si l’on livre plus vite sans mener de vraies expérimentations, on tombe dans le « vibe-stuffing » — ajouter des fonctions simplement parce que c’est possible, sans preuve
    • La plupart des fonctionnalités ne créent pas de valeur et gonflent le produit comme la base de code, tout en augmentant la charge cognitive des utilisateurs
  • Chaque fonctionnalité IA entraîne un coût d’appel récurrent à chaque utilisation — l’inférence n’est pas gratuite
    • Le gonflement lié au vibe-stuffing n’est pas qu’une question de complexité, c’est une taxe qui s’accroît de façon composée avec l’usage
    • L’obésité produit à l’ère de l’IA est un tueur de marges
  • Une expérimentation solide est la seule défense, et la valeur de Lean Analytics augmente au contraire
    • La discipline dans le choix des métriques, la formulation des hypothèses, les tests de résistance et la décision de la prochaine action distingue les équipes qui apprennent de celles qui se contentent de livrer
  • Filtre utile : pour chaque expérience, consigner l’hypothèse et les critères de décision avant le lancement — sinon, ce n’est pas une expérimentation mais une mise en production
  • À mesurer : nombre d’expérimentations par trimestre, hypothèses documentées avant lancement, extinction de fonctionnalités fondée sur les données, coût par fonctionnalité en production (non seulement son utilisation, mais aussi la justification de son coût d’exploitation)

• Densité de valeur (Value Density)

  • Le principe qui traverse ces trois changements du modèle économique : selon la formule de Ben Murray (The SaaS CFO), « si le SaaS concerne l’efficacité des marges, l’IA concerne la densité de valeur — optimiser la quantité d’output, de productivité ou de travail remplacé par dollar de calcul »
  • Rapport ICONIQ de janvier 2026 : chez les entreprises B2B IA en phase de scaling, l’inférence représente 23 % du chiffre d’affaires ; la marge brute IA moyenne atteindrait 52 % en 2026 (contre 41 % en 2024, mais encore loin des 70 à 90 % du SaaS mature)
  • Bessemer : marge brute de 50 à 60 % pour les entreprises AI-first
  • Jason Lemkin : « plus on croît, plus il faut d’inférence, et on ne peut pas la réduire sans dégrader la qualité du produit »
  • Trois ratios pour mesurer la densité de valeur (ils évoluent indépendamment) :
    • Coût de livraison par tâche — combien coûtent les tokens et le calcul pour produire un résultat réussi
    • Revenu capté par dollar de calcul — facture-t-on assez pour couvrir les coûts variables et la marge
    • Valeur livrée à l’utilisateur par dollar de calcul — l’indicateur que la plupart des équipes ignorent, alors que le diagnostic ne fonctionne que si les trois sont mesurés

Le futur : l’humain se retire de la boucle

• Le « build-too-much » devient le nouveau surapprentissage

  • Construire est devenu si facile qu’on risque de lancer plus que ce que les utilisateurs peuvent absorber, ou que ce que les données justifient
  • Alistair Croll : l’IA supprime les frictions qui forçaient à supprimer — l’ancien code restait à cause du coût de réécriture, les anciennes fonctionnalités à cause du coût de construction, mais désormais plus rien n’est nettoyé
    • Les fallbacks s’accumulent comme des « murs porteurs invisibles », et les tests générés par IA sont optimisés pour s’auto-valider plutôt que pour vérifier le comportement attendu
    • « Supprimer semble plus risqué que conserver, et sans friction, tout reste »
  • Les PM qui gagnent sont ceux qui mesurent la suppression avec autant de rigueur que l’ajout

• Quand les agents sont les utilisateurs

  • Quand un agent Claude utilise un produit sans interface à la place d’un humain, on ne sait plus clairement qui est l’utilisateur, ni ce que signifient activation, durée de session ou engagement
  • Mesure pratique : instrumenter le trafic des agents comme une cohorte distincte — via les chaînes user-agent, les schémas API, etc., pour distinguer « un humain pilote l’interface » de « un agent appelle l’API »
    • Les comportements diffèrent, les critères de succès aussi, et les mélanger dans une seule métrique donne une mauvaise réponse pour les deux
  • Le concept de HX (Harness Experience) de Rob May : si, depuis 30 ans, l’UX consistait à faire cliquer les humains sur les bons boutons, les agents autonomes sautent tout cela
    • « Ce n’est pas le funnel qui est cassé, il est devenu hors sujet »
    • HX est la couche de design pour les humains qui pilotent, font confiance et auditent des flottes d’agents — l’utilisateur n’est plus le conducteur mais le directeur
    • Au lieu des clics et des conversions, on mesure les résultats, la supervision et l’intervention

• Découvrabilité (Discoverability) et réutilisation (Reuse)

  • Deux problèmes, une cause profonde : une IA qui ne vous appartient pas décide si votre produit sera utilisé ou non
  • Découvrabilité : si un utilisateur dit à ChatGPT « aide-moi à planifier un voyage au Mexique », ChatGPT choisit entre Expedia, Booking et Kayak — c’est l’IA, et non l’utilisateur, qui sélectionne l’outil
    • Pendant 30 ans, la distribution consistait à faire en sorte que des humains vous trouvent et vous choisissent ; dans un monde d’agents, il faut rivaliser pour la logique de sélection de l’IA
  • Réutilisation : même si un utilisateur paie un abonnement Canva et a installé l’app ChatGPT, s’il demande un design via ChatGPT, c’est l’IA qui décide à chaque fois si Canva doit être appelé
    • « Posséder » le client ne signifie pas posséder le moment où la valeur est effectivement créée — un nouveau risque de plateforme
  • À suivre : l’écart entre les « utilisateurs qui possèdent ou paient le produit » et les « utilisateurs pour lesquels l’IA a réellement appelé le produit »
    • Un abonné payant que l’IA n’a pas appelé pendant 30 jours est plus à risque qu’un abonné qui ne s’est simplement pas connecté directement

• Les produits agent-vers-agent

  • Quand un produit est un réseau d’agents qui collaborent avec les agents d’autres personnes, la signification de l’OMTM, de l’adhérence et du churn reste encore floue
  • Les quatre étapes du modèle Hooked se voient toutes adjoindre des questions qui n’existaient pas il y a cinq ans :
    • ce que signifie un déclencheur quand c’est l’IA qui déclenche, ce que signifie l’action quand c’est l’IA qui agit, comment récompenser une entité qui ne fait pas l’expérience de la récompense, et si l’investissement s’applique dans un système sans mémoire de la boucle précédente ou avec une mémoire parfaite

Ce qu’il faut commencer à faire dès aujourd’hui

• Audit des métriques d’engagement : ne pas demander « l’engagement monte-t-il ou baisse-t-il ? », mais « à quoi sert le temps des utilisateurs ? » — le temps passé à se débattre n’est qu’un échec maquillé en engagement
• Ajouter une vue qualité par cohorte : mesurer séparément la qualité des résultats des nouveaux utilisateurs et des power users — l’écart peut être plus grand que prévu et indiquer avec précision où améliorer l’onboarding
• Vérifier la marge brute par utilisateur actif : sur la base des utilisateurs actifs, et non des utilisateurs payants — le dashboard actuel ne dit peut-être pas si vos meilleurs utilisateurs sont votre meilleur actif ou votre plus gros passif
• Commencer à mesurer séparément le trafic des agents : même s’il n’est que de 2 % aujourd’hui, il faut établir une base de référence avant que la nature du trafic ne change
• Mettre en place un harnais d’eval : si l’on ne peut pas évaluer de manière systématique si l’IA accomplit bien la tâche souhaitée, ce n’est pas un produit, mais du simple « vibes »
• Évaluer la façon de construire les fonctionnalités : vérifier si l’on mène des expérimentations rigoureuses, ou si l’on est en train de tuer le produit à force de vibe stuffing