Un fondateur de la fintech inculpé pour fraude ; une appli d’IA s’est révélée être opérée par des humains aux Philippines

• Albert Saniger, fondateur et ex-PDG de Nate, a été inculpé par le département de la Justice des États-Unis pour avoir trompé des investisseurs
• Nate est une startup fintech fondée en 2018, qui affirmait proposer une expérience de « checkout universel » basée sur l’IA
• L’entreprise avait levé plus de 50 millions de dollars auprès d’investisseurs comme Coatue et Forerunner Ventures, et a bouclé en 2021 une série A de 38 millions de dollars menée par Renegade Partners

Une appli de shopping IA qui fonctionnait en réalité à la main

• Nate affirmait que son IA gérait automatiquement les achats sur tous les sites e-commerce, mais en réalité, des centaines d’employés d’un centre d’appels aux Philippines traitaient manuellement les commandes
• Selon le département de la Justice, le niveau réel d’automatisation de Nate était en pratique de 0 %
• Pour lever des fonds, l’entreprise vantait un système « traité par l’IA sans intervention humaine », alors que l’essentiel du travail était effectué par des humains
• Quelques technologies d’IA ont bien été introduites et des data scientists recrutés, mais aucune automatisation fonctionnelle n’a été mise en place

Lanceur d’alerte interne et chute de Nate

• En 2022, le mode de fonctionnement réel de Nate a été révélé par une enquête de The Information
• Saniger est indiqué sur LinkedIn comme ayant quitté son poste de PDG depuis 2023
• Nate a vendu ses actifs en janvier 2023 faute de liquidités, et les investisseurs ont perdu la quasi-totalité de leur mise
• Saniger est actuellement présenté comme managing partner de Buttercore Partners, sans prise de position officielle à ce stade

Les cas d’exagération autour de l’IA se poursuivent

• Au-delà de Nate, une startup de logiciel d’« IA pour drive-through » qui s’appuyait principalement sur de la main-d’œuvre aux Philippines a aussi été rapportée par The Verge en 2023
• Plus récemment, Business Insider a rapporté que la licorne startup de legal tech IA EvenUp faisait en réalité exécuter une grande partie du travail par des humains

[aer0700]

Ces derniers temps, on voit parfois des entreprises faire leur promotion en disant qu’elles automatisent avec l’IA des tâches qui étaient déjà bien gérées auparavant, qu’elles les ont implémentées en Rust, etc.
Elles font ~.
J’ai l’impression qu’il faudrait simplement juger sur ce seul point. Qu’on utilise l’IA ou qu’on l’ait implémenté en Rust, il suffit d’évaluer à quel point le ~ est bien réalisé ; du point de vue des utilisateurs ou des investisseurs, les moyens techniques employés en interne ne me semblent pas très importants. Si le code est publié, cela peut évidemment piquer la curiosité d’un développeur.

[GN⁺]

Commentaires Hacker News

• Cela me rappelle un article d’il y a 2 ans et mon commentaire HN à l’époque. C’est le parcours typique d’une autre startup IA

  • Quelqu’un découvre un problème intéressant qui pourrait être résolu avec du ML/de l’IA et essaie de le résoudre lui-même
  • Se dit : « Le modèle fonctionne plus ou moins. C’est assez utile pour que d’autres paient pour ça »
  • Lance une API payante, une startup SaaS, etc., et décroche quelques clients
  • Il apparaît que l’approche ML/IA ne se généralise pas ; comme la réputation compte, on embauche des humains pour résoudre le problème
  • Les performances du modèle se dégradent, et le travail humain devient une partie importante de l’ensemble du workflow
  • Quelqu’un écrit un article disant qu’ils utilisent de la main-d’œuvre bon marché

• J’ai été désigné comme voleur potentiel par l’analyse d’images CCTV à une caisse en libre-service de supermarché. (C’était bien sûr une mauvaise analyse.) En quittant le magasin, je me suis demandé si c’était une analyse logicielle ou si quelqu’un en Inde ou aux Philippines me regardait en temps réel

• Je me suis demandé pourquoi il n’y avait pas eu les mêmes inquiétudes du DOJ quand Amazon Go faisait la même chose

  • Amazon Go : au début, ils ont clairement dit qu’ils testaient la technologie « Just Walk Out », et dans la communauté tech, on savait que des humains examinaient les cas limites via les flux vidéo
  • Ils affirmaient que la technologie finirait par s’améliorer, et que le recours aux humains servait surtout aux données d’entraînement et à l’assurance qualité
  • Ils n’ont pas dit : « aujourd’hui, ça fonctionne à 100 % par l’IA sans aucune aide humaine »
  • Nate : affirmait être déjà entièrement automatisé
  • Le CEO a explicitement déclaré que l’IA faisait tout le travail et qu’ils n’utilisaient des contractuels que pour de rares cas limites
  • Selon le DOJ, en réalité, les humains faisaient tout et l’IA n’était qu’un outil de marque
  • Aux investisseurs, ils présentaient cela comme une plateforme logicielle, alors qu’en réalité c’était du BPO

• Je me demande à partir de quand cela est considéré comme de la « fraude ». Presque toutes les applications « IA » reposent sur un important secours humain. Waymo a des conducteurs humains qui peuvent téléopérer quand le véhicule s’arrête. Les magasins Amazon Go étaient en pratique opérés par des équipes en Inde. Les entreprises affirment depuis 10 ans être « propulsées par l’IA »

  • C’est peut-être parce que les investisseurs ont regardé les marges et découvert un énorme poste offshore. Sinon, le « taux d’automatisation » est un chiffre trop flou pour que les investisseurs le suivent
  • Ce type de tromperie fait des investisseurs innocents des victimes

• Ces 5 dernières années, il y a eu beaucoup de startups proposant une variante de « l’IA peut désormais automatiser vos interactions avec une entreprise qui, au fond, ne veut pas interagir avec vous ». C’est courant dans la santé, la fintech, le shopping grand public, etc.

  • Elles promettent d’automatiser la disponibilité des prestataires, la prise de rendez-vous et les réservations via des appels téléphoniques par IA
  • Elles vendent des appareils grand public censés automatiser toutes les interactions avec des apps grâce à un « large action model »
  • Elles promettent d’automatiser les interactions de facturation entre hôpitaux et assureurs santé avec un screen scraper IA
  • Elles promettent que si un employé effectue une tâche une fois dans un outil logiciel métier, l’IA pourra ensuite l’automatiser pour toujours et connecter tous les systèmes fournisseurs sans programmation sur mesure
  • Elles promettent d’acheter automatiquement sur n’importe quel site web grâce à l’IA

• La plupart des startups ne sont pas des « fraudes ». Elles démarrent avec les meilleures intentions (fondateurs techniques qualifiés, véritable marché cible, clients prêts à payer si ça marche), mais finissent par échouer, pivoter complètement, ou s’appuyer sur la fraude dans une mauvaise tentative de survie

  • Le problème, c’est qu’elles essaient d’utiliser la technologie pour résoudre un problème humain. L’état actuel du monde vient du fait que, de l’autre côté de l’équation, les prestataires de services ne veulent ni intermédiation ni commoditisation. Ils ne se plieront pas à l’automatisation
  • Si vous perfectionnez la façon de les appeler avec un robot, ils ne répondront plus au téléphone. Si vous perfectionnez la façon d’automatiser leur app iPhone au nom des utilisateurs, ils bloqueront des plages d’adresses IP et imposeront des CAPTCHA de plus en plus complexes. Si vous automatisez le flux de connexion, ils passeront à un autre flux ou bloqueront les clients qui utilisent l’automatisation. L’expérience client sera, au mieux, incohérente, et on ne pourra pas retirer l’humain de la boucle. Cela finit par tuer le produit par mille coupures — même si les clients supplient encore pour pouvoir payer le service

• Une nouvelle itération du Turc mécanique

• Article connexe datant du milieu de la pandémie : une startup d’achats IA illustre les excès du boom du financement

• Un ami m’a demandé de faire une due diligence sur cette entreprise vers 2021. Le fondateur affirmait un « taux de réussite du checkout de 100 % » grâce à l’IA, mais c’était manifestement faux. En même temps, il dirigeait aussi 2 autres startups

• « Je suis un ordinateur mais je dirai que je suis une personne » et « je suis une personne mais je dirai que je suis un ordinateur » sont deux idées toutes aussi courantes