Issen (YC F24) lance un tuteur de langue IA personnel

• Une application qui vise à remplacer, pour l’apprentissage des langues étrangères, le manque de vraie pratique orale par un tuteur vocal IA, afin de réduire les coûts de recherche d’un tuteur et de coordination des horaires
• Le projet est né de la difficulté à trouver des outils de pratique orale en japonais et en français, et considère comme principaux problèmes le coût horaire des tuteurs humains et la contrainte de réservation
• Son propre pipeline vocal IA combine STT, TTS, LLM, mémoire à long terme, interruptions et turn-taking, et utilise Gemini Flash, Whisper, Scribe et GPT-4o-transcribe pour réduire les erreurs de reconnaissance
• L’accent est mis sur les conversations immersives plutôt que sur la gamification, et les nouveaux mots appris dans le chat vocal IA sont reliés à un carnet de vocabulaire et à des flashcards SRS
• Disponible sur le web, iOS et Android, avec 20 minutes d’essai gratuit, pour un prix de 20 à 29 dollars par mois selon la durée et la région

---

L’expérience d’apprentissage des langues visée par Issen

• Issen est une application de tuteur vocal conçue pour que les apprenants parlent immédiatement et s’immergent dans la langue cible
• Les tuteurs humains peuvent être efficaces, mais la facturation à l’heure, la coordination des agendas et le coût de recherche pour trouver le bon tuteur constituent une charge
• L’objectif est d’améliorer les compétences réelles à l’oral grâce à des conversations complètes et réalistes, plutôt qu’à de courts quiz ou à des scores
• L’application ne met pas particulièrement l’accent sur la gamification
  • Elle estime que maintenir une longue streak ou obtenir un score élevé dans l’application ne se traduit pas forcément par une véritable aisance

Pipeline vocal IA et fonctionnalités d’apprentissage

• L’application gère les conversations via son propre pipeline vocal IA
  • Il combine STT, TTS, LLM, mémoire à long terme, interruptions, turn-taking, etc.
  • Il est difficile de préserver la précision du STT avec l’accent des apprenants, des phrases mêlant plusieurs langues ou dans un environnement bruyant
  • Pour maintenir la fluidité de la conversation, elle utilise conjointement Gemini Flash, Whisper, Scribe et GPT-4o-transcribe
• Les nouveaux mots appris dans le chat vocal IA sont reliés à un carnet de vocabulaire et à des flashcards SRS
  • Ils servent à améliorer rapidement le vocabulaire et les compétences orales
• Elle génère un programme personnalisé adapté aux objectifs, centres d’intérêt et préférences de chaque étudiant
• Il est possible de personnaliser des paramètres comme la vitesse, le turn-taking ou le niveau de formalité
• Une démo est disponible
• Fonctionne sur le web, iOS et Android, avec 20 minutes d’essai gratuit, puis un tarif de 20 à 29 dollars par mois selon la durée et la région

[GN⁺]

Avis Hacker News

• Je voulais dire que je suis d’accord sur le fait que l’apprentissage des langues a besoin d’innovation.
  J’ai essayé le niveau débutant en grec dans l’app web, et c’était une meilleure expérience que le mode vocal de ChatGPT ou Gemini.
  Mais au bout d’environ 5 minutes, j’ai été dérouté par le fait que le tuteur IA ne comprenait ni mon plan d’apprentissage personnel ni mes difficultés.
  Par exemple, il m’a demandé quels étaient mes loisirs, puis s’est mis à me dire une longue phrase en grec sur une randonnée en montagne.
  En tant que débutant complet, je ne pouvais ni répondre à cette phrase, ni même la répéter facilement.
  Je ne savais même pas ce que j’étais censé faire à ce moment-là.
  Un vrai professeur aurait répété une partie de la phrase, l’aurait traduite ou l’aurait expliquée.
  Mais le tuteur IA attendait simplement que je dise quelque chose, puis est parti bizarrement sur des vacances à la plage.
  Cela dit, j’ai quand même trouvé ça meilleur que les IA existantes, donc je compte réessayer.

  • J’ai eu une impression similaire en suédois.
    La différence avec le mode vocal avancé de ChatGPT n’est pas énorme, et comme c’est à moi de conduire la conversation, l’ensemble paraît assez arbitraire.
    On revient seulement à des sujets familiers, ce qui réduit au final l’intérêt de la pratique.
    J’espérais plutôt un plan d’apprentissage guidé, plus structuré, qui m’aide à élargir progressivement de nouveaux domaines et mes compétences.
  • Je pense que Language Transfer est une ressource d’apprentissage des langues meilleure que n’importe quel cours basé sur l’IA.
    Le programme a été conçu méthodiquement pendant des années par un instructeur humain, donc c’est plus logique que tout le reste.
    Le cours de grec est particulièrement excellent, sans publicité et entièrement gratuit.
    Je le recommande avec confiance comme le meilleur outil d’apprentissage des langues que j’aie utilisé.
    https://www.languagetransfer.org/
  • Quand j’ai indiqué que ma langue maternelle était le grec, j’ai eu une erreur et le guide d’onboarding s’est réinitialisé.
    Quand j’ai menti en disant que ma langue maternelle était l’anglais, tout a fonctionné normalement.
    Mais l’app m’a appelé Anton au lieu du nom que j’avais saisi.
  • J’ai trouvé que les limites de l’architecture STT->LLM->TTS étaient assez nettes.
    Les nuances montrant que j’hésitais ou que j’avais du mal disparaissent complètement lors de la conversion en texte.
  • J’avais payé un abonnement Memrise pour perfectionner mon français.
    Les leçons scriptées étaient excellentes, mais en mode conversation IA, l’application oubliait le niveau de vocabulaire et de grammaire appris en cours et parlait avec des expressions idiomatiques.
    J’ai fini par perdre l’intérêt et arrêter de l’utiliser.

• Je n’ai jamais réussi à utiliser Duolingo à cause de sa gamification excessive, donc j’apprécie que cette app allège cet aspect.
  Je me demande s’il est possible de passer naturellement de ma langue maternelle à la langue cible, et si je peux poser des questions en anglais pendant la conversation.

  • J’ai l’impression que ces apps se concentrent sur l’optimisation pour l’ensemble des utilisateurs et n’offrent pas une expérience adaptée à chaque individu.
    Il y a même des publications sur l’optimisation globale.
    Les métriques d’apprentissage ou la production de contenu sont faciles, mais personne n’a réussi à créer une vraie boucle d’adaptation à chaque apprenant.
    Même sur Duolingo, on peut cliquer sur « s’entraîner » sans progresser, et on retombe toujours sur le même pain et eau, c’est-à-dire du contenu rebattu.
  • Je tiens à souligner que nous étudions depuis longtemps l’intégration multilingue de STT et TTS, et que cela fonctionne bien même quand on mélange plusieurs langues.
  • Je pense que Babbel est meilleur que Duolingo.

• Je n’arrive pas à faire totalement confiance au TTS pour l’apprentissage des langues.
  On peut internaliser une mauvaise prononciation sans s’en rendre compte.
  Dans le cours de japonais de Duolingo, je pensais entendre de vrais enregistrements, mais oyogu sonnait bizarrement, comme oyNHYAOgu, comme si c’était mal synthétisé.
  En tant que débutant, ça m’inquiéterait de reproduire ce genre d’erreur telle quelle.
  Bien sûr, on peut corriger des erreurs avec suffisamment de temps d’immersion, mais apprendre quelque chose de faux dès le départ demande encore plus d’efforts à corriger.
  C’est particulièrement important en japonais, où l’accent tonal (pitch accent) compte, et pourtant beaucoup de ressources et de gens l’ignorent.
  Exemple : ima peut vouloir dire « maintenant » ou « salon » selon la hauteur de la deuxième syllabe.
  Ce problème peut être encore plus grave dans des langues comme le japonais, riches en mots d’origine chinoise.

  • Le nouveau modèle TTS de Minimax est assez impressionnant.
    Certaines applis de tutorat en japonais utilisent déjà cette voix, et l’accent tonal y est presque parfait.
    Il y a parfois des erreurs de kanji ou de lecture, mais on les repère immédiatement quand le furigana ne correspond pas.
  • J’ai l’impression que le TTS japonais est étonnamment difficile.
    Moi aussi, en développant une app d’apprentissage des langues, j’ai testé le TTS de plusieurs fournisseurs (11labs, OpenAI, play.ht, Azure, Google, Polly, etc.), et il y avait une erreur dans une phrase sur trois.
    Il m’a fallu environ une semaine pour les corriger, et maintenant je suis arrivé à un état sans erreur.
    Ce phénomène est surtout marqué en japonais ; dans la plupart des langues tonales, le ton est correct.
    Je ne suis pas forcément qualifié pour juger du naturel, mais je n’ai pas rencontré de décalages aussi graves qu’en japonais.
  • La reconnaissance vocale IA (transcription) est plutôt bonne, et la traduction IA est correcte selon les paires de langues.
    Mais le TTS manque encore de qualité dans la plupart des langues.
  • Moi aussi, en tant que débutant en japonais, je ressens fortement l’importance de l’accent tonal.
    Chaque langue met l’accent sur les syllabes différemment.
    En espagnol, la longueur des voyelles compte ; en islandais, le volume ; en anglais, la longueur et le volume ; en suédois et en japonais, c’est surtout la hauteur.
    Même en anglais, si l’accent tonique est mal placé, la communication peut échouer.
    Le japonais est encore plus particulier parce qu’il a beaucoup d’homonymes et que le sens varie selon l’intonation.
    Une hauteur correcte est essentielle.

• Cette app offre vraiment une excellente expérience.
  La conversation avec une personne argentine se déroulait de façon très naturelle.
  J’ai vécu plus de 18 ans à Buenos Aires, donc ma prononciation et mon accent sont plutôt bons.
  J’avais cependant des lacunes en grammaire de base, et l’app les affine avec précision.
  Je regrette juste qu’en UX iOS, lorsqu’on ouvre la modale des paramètres, le bouton de fermeture (CTA) soit difficile à voir.
  La couleur de l’état cliqué et celle de l’état inactif du bouton de paramètres sont presque identiques.
  Solution : ajouter un bouton X de fermeture en haut à droite et changer la couleur au clic.
  Si vous voulez davantage de retours UX, contactez-moi : visualsitemaps.com

• J’ai essayé d’apprendre le vietnamien, mais la qualité des leçons était très faible et il y avait aussi des informations erronées.
  Il est correct qu’un homme dise Anh mệt pour parler de lui-même, mais expliquer que Em mệt est réservé aux femmes est faux.
  Anh désigne un homme plus âgé ; Em s’utilise pour une personne plus jeune, quel que soit le sexe.
  Beaucoup de femmes préfèrent Em parce qu’elles veulent paraître plus jeunes que leur âge réel, mais de jeunes hommes peuvent aussi utiliser Em.
  Un bon tuteur expliquerait ce contexte en fonction de l’âge et de la relation.
  J’ai aussi eu des cas où des phrases anglaises étaient prononcées avec un accent vietnamien.
  On me donnait des phrases beaucoup trop difficiles pour mon niveau, ou alors le focus partait dans une mauvaise direction quand je faisais une demande.
  La plupart du temps, le vietnamien du Sud est plus répandu, mais les tuteurs venaient du Nord.
  La reconnaissance vocale (STT) était aussi trop tolérante aux erreurs de prononciation, ou incapable de distinguer l’anglais du vietnamien.
  Par exemple, Phai était reconnu comme bye.
  J’en attendais beaucoup car c’est bien moins cher et on peut apprendre sans contrainte d’emploi du temps, mais j’ai du mal à faire confiance à sa précision.
  Pour l’instant, je paie un tuteur vietnamien 20 $ par cours, soit 160 $ par mois.

  • Désolé que la qualité n’ait pas été au rendez-vous ; nous n’avons pas encore pu tester le vietnamien.
    Merci d’avoir signalé le problème.
  • Ce genre d’erreurs est un type de problème assez courant avec les LLM.
    Nous avons vraiment besoin d’une bonne plateforme d’apprentissage des langues.
  • Ravi de croiser un autre apprenant de vietnamien.
    Je suis d’accord : ce retour met exactement le doigt sur le problème.
    J’ai créé un outil pour aider à pratiquer des phrases de base et j’aimerais avoir votre avis : https://envn.app

• J’ai essayé en japonais, et c’était assez frustrant.
  Même en étant débutant, le tuteur parlait uniquement en japonais ; je lui ai dit plusieurs fois que je ne comprenais pas, sans effet.
  Même quand je lui demandais de passer progressivement de l’anglais au japonais, il disait une seule phrase en anglais puis revenait aussitôt au japonais.
  Cela peut être utile comme outil de pratique conversationnelle pour des apprenants intermédiaires ou avancés, mais l’expérience doit encore être améliorée pour les vrais débutants.
  Comme le modèle prend en charge le multimodal, ce serait bien d’exploiter activement aussi des supports visuels.
  Ce serait encore mieux si le japonais enregistré s’affichait immédiatement en rōmaji.

  • Je compatis totalement à cette expérience.
    Pour être honnête, notre focus actuel est surtout sur les apprenants de niveau B1 et plus.
    Si vous avez besoin d’un apprentissage de type 0→1 pour des débutants complets, il vaut probablement mieux utiliser des ressources plus traditionnelles, surtout celles qui mettent moins l’accent sur l’écoute et l’expression orale.

• Le mode de conversation vocale mains libres de l’app mobile ChatGPT est plutôt utile.
  Le seul problème, c’est qu’en l’absence de sujet, les échanges deviennent monotones et restent toujours dans des banalités.
  Du coup, je copie l’article complet d’actualité avec ses liens associés, puis j’annonce : « faisons de la pratique linguistique sur ce sujet ».
  Ensuite je pratique ainsi en espagnol pendant une heure en marchant.
  Si je veux, je peux demander à ChatGPT de n’accepter mes questions que dans ma langue maternelle, tandis que le chatbot ne répond que dans la langue cible, ce qui permet un entraînement très ciblé de la compréhension orale.
  Je suis curieux de savoir à quel point Issen améliore cette expérience.

  • Je suis parti d’un constat très similaire.
    Les modèles vocaux progressent aussi très vite.
    J’ai le sentiment qu’il faut une expérience globale pensée pour l’apprentissage des langues : programme personnalisé, prompts, modèles IA optimisés pour une reconnaissance précise, flashcards, dictionnaire, etc.
    Nous proposons un mode mains libres et il est aussi possible de personnaliser divers éléments comme l’argot, la vitesse de parole ou la proportion d’usage de la langue cible.

• J’ai pratiqué en russe : l’exercice lui-même était bon, mais ce qui manque à toutes les apps d’apprentissage des langues, c’est une fonction de détection et de correction de mes erreurs de prononciation.
  Même si on parle de façon seulement approximative, la reconnaissance automatique (STT) laisse passer.
  J’attends le jour où l’IA pourra réellement « écouter » ma prononciation et repérer exactement, sans rien manquer, où je me trompe.
  Pour l’instant, elle ne détecte ni les problèmes d’accent, ni les désinences de cas, ni l’accentuation des mots.
  Quand l’IA répète la bonne intonation ou la bonne forme, cela aide un peu à se corriger, mais ça ne donne pas la même confiance qu’un vrai professeur humain.
  Suggestion produit : ajouter une option pour désactiver la transcription (sous-titres).
  Dans certaines langues en particulier, voir l’écrit peut au contraire gêner, ou devenir un raccourci trop facile pour les débutants.
  Enfin, au lieu de conversations arbitraires et sans direction du type « qu’est-ce qui t’intéresse le plus dans l’IA ? », ce serait bien d’avoir une structure plus orientée vers un objectif.
  Même sans gamification, il serait bien plus amusant d’avoir un format de débat (« essaie de me convaincre sur ce sujet ! ») ou des échanges liés à l’expérience concrète (« quel est ton objectif le plus important au travail cette année ? ») afin de faire émerger de vrais avis et de vraies expériences.
  Je pense que c’est le premier produit de ce genre que je pourrais réellement utiliser ; bravo.

  • J’aime beaucoup l’idée d’une leçon de persuasion (debate club).
    J’attends avec impatience que les modèles voix-à-voix arrivent à maturité.
    Il y a aussi de grands progrès chez OpenAI et Gemini, donc nous prévoyons de les adopter bientôt.

• Je me demande pourquoi la vidéo est verrouillée après la première lecture et nécessite ensuite une connexion pour être vue.
  J’ai vu des retours disant que cette app vise surtout les niveaux B1+, mais la vidéo de démo montre des cas allant de A1 à C1.
  Il est rare qu’un même utilisateur ait besoin de tout le spectre A1 à C1 ; il existe plutôt des marchés distincts selon les niveaux, donc il faudrait mieux les différencier.
  Le TTS français paraît moins naturel que la voix par défaut de ChatGPT.
  Si vous proposiez des exercices en un clic selon le niveau de l’utilisateur — lecture d’actualité puis discussion, travail sur les nuances et l’inférence, etc. — ce serait probablement très populaire.
  En particulier, beaucoup d’utilisateurs ne réalisent pas que leurs productions manquent de cohésion, alors une structure qui identifie cette compétence comme un élément clé du threshold proficiency serait réellement utile.

• Bravo pour l’app, je l’ai déjà recommandée à une dizaine de personnes autour de moi.
  J’ai quelques questions :

• Sur LinkedIn, vous semblez n’être que deux employés : comment avez-vous fait la QA de toutes ces langues ?
• L’ourdou fonctionnait plutôt bien, mais pourquoi n’y a-t-il qu’une voix féminine et pas de voix masculine ?
• L’équipe de Sesame est plus grande ; j’aimerais connaître votre point de vue de développeur sur la raison pour laquelle les voix de Sesame paraissent aussi naturelles que de vraies personnes (tout en reconnaissant que c’est un défi bien plus grand chez vous que pour Sesame, qui n’est pas multilingue)
  • Merci pour les compliments.
    Nous avons surtout testé et ajusté les langues les plus populaires.
    Nous avons même retiré des langues qui posaient trop de problèmes d’après les retours des utilisateurs, et il en reste encore certaines que nous n’avons pas pu vérifier.
    Le choix des voix dépend de la qualité des services TTS (Openi, 11labs, minimax, etc.).
    Certains services n’ont pas de voix masculine, ou alors seules les voix féminines sont satisfaisantes.
    Nous prévoyons d’ajouter davantage de voix à l’avenir.
    Chez Sesame, ils peuvent injecter la vraie voix de l’utilisateur dans le TTS pour l’aligner sur sa sensation et son ton, alors que nous utilisons encore uniquement du TTS standard prêt à l’emploi.
    La latence de Sesame est aussi extrêmement faible, mais pour l’apprentissage des langues, cela peut paradoxalement être un inconvénient.
    À terme, nous voulons offrir une expérience fondée sur des modèles voix-à-voix arrivés à maturité.