- Les manuels scolaires ont intrinsèquement la limite d’être un média uniforme ; Google explore donc une approche où l’IA générative crée automatiquement des formulations alternatives et des exemples personnalisés afin d’améliorer l’efficacité de l’apprentissage et l’engagement
- L’expérience de recherche Learn Your Way retravaille les manuels selon le niveau et les centres d’intérêt de l’apprenant, puis les transforme en contenus à représentations multiples (multimodaux) pour favoriser un apprentissage actif
- Le cœur du système est un pipeline de personnalisation qui re-nivele le contenu selon la classe scolaire et remplace les exemples par d’autres liés aux centres d’intérêt, préparant ainsi la génération de plusieurs formes de représentation comme des slides, une narration, de l’audio ou des cartes mentales
- En combinant LearnLM + Gemini 2.5 Pro avec des workflows d’agents et des modèles spécialisés, le système produit des représentations pédagogiques de haute qualité comme des illustrations éducatives, des quiz et des narrations
- Les résultats d’un RCT montrent notamment une amélioration de 11 points de pourcentage de la mémoire à long terme, ce qui suggère le potentiel de faire évoluer des supports statiques vers des expériences d’apprentissage interactives et pilotées par l’apprenant
Contexte et problématique
- En raison des coûts de production et des contraintes de temps, les manuels présentent des limites structurelles : peu de points de vue alternatifs, de formats variés et d’adaptations personnalisées
- L’approche proposée consiste à utiliser l’IA générative (GenAI) pour générer automatiquement des formulations adaptées à l’intérêt et au niveau de l’apprenant, tout en préservant l’intégrité du texte source
- L’objectif est d’offrir un environnement où l’apprenant choisit lui-même le format et le parcours, afin d’améliorer l’efficacité de l’apprentissage et la motivation
Vue d’ensemble de l’approche : deux piliers
- Génération de représentations multiples : application d’une conception qui favorise les liens conceptuels à travers des représentations multimodales comme le texte, les slides, l’audio, les cartes mentales et les quiz
- En s’appuyant sur la Dual Coding Theory et des travaux ultérieurs, l’idée est que les liens entre différentes représentations contribuent à renforcer les schémas conceptuels
- Personnalisation : l’objectif est de renforcer la motivation et l’apprentissage en profondeur grâce à une restructuration du texte selon la classe et les centres d’intérêt, ainsi qu’à une adaptation des quiz fondée sur les réponses
Architecture technique : LearnLM + Gemini 2.5 Pro
- Mise en place d’une architecture en couches fondée sur Gemini 2.5 Pro avec LearnLM intégré
- Étape 1, pipeline de personnalisation : les originaux comme les PDF sont re-nivelés selon la classe scolaire, puis les exemples génériques sont remplacés par des exemples liés aux centres d’intérêt, afin de servir de texte de référence pour les représentations générées ensuite
- Étape 2, génération de représentations multiples :
- Pour les cartes mentales, timelines, etc., le système exploite les capacités généralistes du modèle de base
- Pour les slides et la narration, il s’appuie sur un workflow multi-agents afin d’optimiser l’efficacité pédagogique
- Pour les illustrations éducatives, les limites des modèles d’image généralistes ont conduit à l’ajout d’un modèle d’image spécialisé finement ajusté
- Au final, la combinaison d’un modèle de base puissant + étapes agentiques + composants spécialisés permet la production à grande échelle de représentations d’apprentissage multimodales de haute qualité
Composition de l’expérience Learn Your Way
- Immersive text : unités de lecture segmentées, images générées et questions intégrées pour transformer une lecture passive en expérience active
- Section-level quizzes : encouragement de l’apprentissage actif grâce à un feedback immédiat et à la détection des lacunes de connaissance
- Slides & narration : slides couvrant l’ensemble du contenu, activités à trous, et narration dans le style d’un cours enregistré
- Audio lesson : dialogue simulé entre un enseignant IA et un élève, avec aides visuelles pour affiner la correction des idées fausses
- Mind map : structuration hiérarchique des connaissances permettant de naviguer souplement entre vue d’ensemble et détails
- Tous les composants sont personnalisés selon le niveau scolaire et les centres d’intérêt, et des quiz interactifs réajustent le parcours d’apprentissage en fonction de la performance en temps réel
Évaluation de la conception pédagogique
- 10 manuels source d’OpenStax ont été transformés selon 3 conditions de personnalisation, pour couvrir diverses matières allant de l’histoire à la physique
- L’évaluation par 3 experts en éducation selon des critères comme l’exactitude, la couverture et les principes des sciences de l’apprentissage (LearnLM) a donné des scores positifs, avec une moyenne supérieure ou égale à 0,85 sur tous les critères
- Une évaluation plus détaillée est également présentée dans le tech report associé
Étude d’efficacité (RCT)
- 60 jeunes de 15 à 18 ans de la région de Chicago, avec un niveau de compréhension écrite similaire, ont été répartis aléatoirement et ont étudié pendant jusqu’à 40 minutes
- Comparaison : Learn Your Way vs lecteur PDF classique
- Performance immédiate : le groupe Learn Your Way obtient en moyenne 9 points de pourcentage de plus
- Rétention à long terme (3 à 5 jours plus tard) : le groupe Learn Your Way obtient 11 points de pourcentage de plus (78 % vs 67 %)
- Évaluation subjective : confort 100 % vs 70 %, intention de réutilisation 93 % vs 67 %, confirmant un avantage en satisfaction
- Pour compléter les indicateurs quantitatifs, des entretiens approfondis de 30 minutes ont permis de recueillir des enseignements qualitatifs, avec des retours positifs sur la valeur pédagogique et l’immersion
Pourquoi cela a fonctionné
- Le pipeline de personnalisation ajuste le niveau du texte et les exemples au contexte de l’apprenant, contribuant à réduire la charge cognitive et à accroître la pertinence
- Les représentations multiples favorisent les liens entre concepts, augmentant les indices de rappel en mémoire et la capacité de transfert
- L’adaptation des quiz et les boucles de feedback soutiennent la régulation métacognitive et la correction des idées fausses
Limites et prochaines étapes
- Il s’agit encore d’une phase de recherche préliminaire, qui nécessite des validations répétées sur des échantillons, matières et tranches d’âge plus larges
- Une extension vers un système adaptatif continu est envisagée, afin d’ajuster en permanence les représentations et la difficulté en fonction des progrès et des schémas d’erreurs de l’apprenant
- À l’avenir, le projet prévoit de poursuivre en s’appuyant sur des principes pédagogiques et des mesures d’efficacité, tout en menant en parallèle des stratégies de localisation adaptées aux contextes locaux
Enseignements et points d’application
- L’actif clé est un pipeline opérationnel capable de transformer des supports statiques en artéfacts d’apprentissage interactifs et pilotés par l’apprenant
- Les acteurs de l’école, de l’édition et de l’edtech peuvent passer à l’échelle via un système de production standardisé combinant re-nivelage des contenus + remplacement des exemples par centres d’intérêt + déploiement multimodal + adaptation des quiz
- Du point de vue de l’ingénierie, les points critiques sont la conception de l’orchestration d’agents, de pipelines de génération modulaires et de boucles de contrôle de la qualité et de l’exactitude
2 commentaires
Pour en avoir fabriqué un moi-même, je peux dire que, pour la personnalisation, il faut parfois plus de 2 gigaoctets d’informations.
Commentaires Hacker News
J’ai un outil que j’ai créé, appelé asXiv. Il permet de poser des questions sur des articles d’arXiv.org, et fournit aussi sur l’écran d’accueil des questions suggérées pour aider à comprendre ou explorer un article. Il y a aussi une démo sur le célèbre article Attention Is All You Need. Le code est entièrement open source, et pour réduire les coûts j’utilise le modèle Google 2.5 flash lite (actuellement totalement gratuit). Si besoin, on peut aussi le lancer localement avec un autre modèle en changeant les variables d’environnement.
asXiv est intéressant. J’ai ajouté le post Show HN au second-chance pool. Il pourra donc apparaître aléatoirement sur la page d’accueil de HN. Explication du second-chance pool
asXiv est sympa aussi, mais on peut faire quelque chose de similaire avec la fonction assistant sur alphaxiv. Il suffit d’aller sur l’article puis de cliquer sur tools → assistant. Exemple alphaxiv
Ça a l’air bien, j’aimerais vraiment l’essayer plus tard. Une question toutefois : pourquoi ne pas en avoir fait un SaaS commercial ?
Ça a vraiment l’air d’être un outil fantastique. J’ai moi aussi créé un produit similaire pour lire des arXiv/epub/pdf, Ruminate (www.tryruminate.com). J’aimerais beaucoup avoir des retours
Je suis sincèrement curieux de savoir en quoi c’est différent du RAG classique
J’ai vu, dans un exemple d’introduction à l’informatique, la mise en situation d’un élève de 5e qui aime la nourriture. On y expliquait par exemple que « les listes peuvent servir pour une recette », « les ensembles sont utiles pour une liste unique d’ingrédients pour la semaine », « les maps peuvent servir pour un livre de cuisine », « une file de priorité convient à la gestion des commandes dans une cuisine très occupée », ou encore « un graphe de food pairing montre quels ingrédients vont bien ensemble ». À mon avis, ça surestime un peu les goûts d’un élève de 5e. Moi, je m’en lasserais vite
Clairement, l’informatique au lycée était très ennuyeuse quand je l’ai connue il y a 20 ans. À l’époque, c’était l’ambiance « il faut absolument apprendre Microsoft Office ». En faisant du bénévolat dans l’éducation pendant longtemps, j’ai vu beaucoup d’enfants poser des questions très concrètes du genre « à quoi servent réellement les fonctions trigonométriques ? ». Les exemples en cours et aux examens semblaient déconnectés de la vie réelle, donc sans grand sens. Montrer comment les concepts sont réellement utilisés dans le monde a clairement une valeur pédagogique. L’avantage des LLM, c’est qu’ils peuvent transformer ce type d’exemple concret selon les centres d’intérêt de chacun. Par exemple, comme dans les explications du parcours A* de la série Red Blob Games, où un algorithme de parcours de graphe est rendu très attractif grâce à l’exemple du jeu vidéo
J’ai déjà utilisé l’outil d’apprentissage avec génération de quiz intégré à Gemini. C’est assez utile pour ce qu’on trouve dans un manuel scolaire K-12 classique. Les 30 à 40 premières questions à choix multiple sont plutôt utiles, mais après, les questions, les distracteurs et les explications commencent à se répéter, et on voit apparaître des mauvaises réponses ou plusieurs bonnes réponses. Les explications restent au niveau attendu, et la QA semble insuffisante. Si l’utilisateur vérifie lui-même, ça reste exploitable. Mais si on l’accepte tel quel sans vérification, ça peut au contraire devenir nuisible
Franchement, dès l’exemple « les listes peuvent servir pour une recette », je ne comprends même pas ce que ça veut dire. Pour des élèves de 5e, ça risque surtout d’être source de confusion
Ça me fait penser à l’effet Hawthorne (effet de nouveauté). Ce n’est pas clair si les élèves disent que ce type de contenu est plus intéressant parce qu’il est réellement meilleur, ou simplement parce qu’il est différent. Wiki sur l’effet Hawthorne
En particulier, l’exemple des ensembles risque de perdre des élèves de 5e (encore plus s’ils ne connaissent pas déjà le concept). Dire qu’on met une « liste d’ingrédients uniques » dans un ensemble est techniquement correct, mais en pratique, pour faire les courses, il faut aussi les quantités, donc ça n’aide pas beaucoup. Ça n’explique pas non plus intuitivement ce qu’est un ensemble, et au moment d’expliquer « la différence entre une liste et un ensemble », ça peut au contraire brouiller les pistes. Même l’expression « ingrédients uniques » risque de ne pas être claire pour des enfants de cet âge
Je suis un ancien professeur de physique. La prouesse technique est impressionnante, mais je pense que c’est une innovation pédagogiquement peu efficace. Quand on enseigne les lois de Newton à des adolescents, la vraie difficulté est de faire comprendre que le frottement n’est pas toujours présent. Les élèves arrivent après une vie entière à observer des objets réels en mouvement, ce qui les conduit à une « théorie de l’impetus » (lien wiki). Une IA capable d’identifier les conceptions de chaque élève et de poser des questions qui réfutent cette théorie serait vraiment utile, mais ce que Google a présenté ici n’est qu’une variante du cours magistral « diapositives + quiz ». C’est justement l’idée, dans l’éducation, qu’« on peut enseigner toutes les matières de la même façon » qui m’a poussé à quitter le métier. On arrive au bout des approches neutres vis-à-vis des disciplines ; la clé pour progresser désormais, c’est de se concentrer réellement sur le « quoi » et le « comment » enseigner
« Un bon enseignant peut enseigner n’importe quelle matière » — c’est bien un responsable du département de langues qui disait ça ? Je suis largement d’accord avec toi, mais même dans une approche neutre vis-à-vis des disciplines, des méthodes d’apprentissage efficaces mais peu mises en pratique — répétition espacée, évaluation par rappel, etc. — ne sont toujours pas intégrées dans les 80 % inférieurs des cours. On sait déjà énormément de choses en pédagogie et en théorie de l’apprentissage, mais cela n’est toujours pas répercuté dans le système scolaire
En tant qu’étudiant, je m’y reconnais vraiment. Si j’ai du mal à apprendre, ce n’est pas par manque de personnalisation, mais simplement parce que la quantité est énorme et que c’est difficile. L’essentiel, c’est de vérifier précisément à chaque étape si j’ai bien compris (je décrirais ça comme une approche « bouchée par bouchée ») et de reformuler le langage mathématique ou les termes techniques avec des mots plus simples. Le mode Study de ChatGPT remplit plutôt bien ce rôle dans certaines matières
Il faut faire attention en parlant d’expérience pédagogique, sinon les gens de l’Edutech se vexent. Ça fait 15 ans qu’ils promettent une révolution
Il aurait fallu demander à ce responsable de langues d’enseigner le calcul tensoriel
Je me demande pourquoi ce responsable de langues a dit ça, si ça a eu un impact aussi sur le département scientifique, et si c’est vraiment cette déclaration qui t’a poussé à quitter l’enseignement de la physique
Quand je vois les services IA actuels et les changements forcés de politique tarifaire de Copilot, j’ai l’impression que tout le secteur de l’IA essaie désespérément de faire adopter au grand public un jouet coûteux. Je me demande pourquoi l’avertissement typique de PG — « une solution en quête d’un problème » — n’est toujours pas sorti
Je trouve l’IA trop peu fiable pour être utilisée activement dans l’apprentissage. Je lui ai demandé d’organiser 100 citations d’articles : elle en a supprimé 10 et en a inventé 10 autres sans aucune base. Dans ces conditions, je n’imagine même pas remplacer des manuels scolaires
Conclure que « l’IA ne peut pas résumer ou expliquer un manuel » simplement parce qu’« elle a mal traité un travail sur des citations » est un saut logique. Beaucoup de gens sont incapables d’organiser des citations, mais très capables de résumer et d’expliquer un manuel
J’ai souvent eu de bonnes explications de contenu de manuel en utilisant des LLM. Quand je colle un passage que je ne comprends pas et que je pose une question, ils répondent plutôt bien
Je serais curieux de savoir quel modèle tu as utilisé, quel était le prompt, et quand tu as essayé
J’aime apprendre. Khan Academy m’a permis d’arriver jusqu’à l’université, et aujourd’hui encore j’utilise ChatGPT, Claude, etc. quand j’étudie des articles. Mais l’exemple de Google m’a très vite déçu.
Ce n’est pas de ta faute. Toutes les propositions sont fausses. La sociologie étudie la société, la culture, les comportements de groupe, etc. C’est une hallucination du LLM
Le corrigé est entièrement faux. Le système veut sans doute la réponse « C) psychologie = génétique, sociologie = interactions », mais dire que la psychologie se concentre sur la génétique est faux
Le texte ne définit même pas la psychologie ni la sociologie, et ne les oppose pas non plus. On demande de répondre uniquement à partir du texte, alors qu’il faut mobiliser des connaissances externes pour résoudre la question. Ce genre de génération de questions vient d’une interprétation maladroite des données d’entraînement par le LLM. Le modèle ne distingue pas un mode reading comprehension d’un mode didactic, donc ce n’est pas un simple bug, mais une limite structurelle
Ça peut sembler être un bug mineur, mais en éducation l’exactitude est essentielle. Laisser passer ce genre d’erreur élémentaire rend très difficile de franchir le seuil de confiance
Cette technologie semble avoir un potentiel considérable. Les enseignants humains n’ont pas une patience infinie. Quand j’étais au lycée, j’ai demandé à mon professeur de chimie « pourquoi cette réaction se produit-elle ? » et il m’a répondu : « accepte-le et apprends-le par cœur, n’essaie pas de comprendre ». Après ça, je ne suis pas devenu chimiste. Pourtant aujourd’hui, la chimie m’intéresse plutôt. À l’époque, ce professeur avait complètement brisé ma curiosité, au point que j’ai écarté toute filière liée à la chimie quand j’ai choisi mes études supérieures. Si un tel outil d’IA avait existé à ce moment-là, ma vie aurait peut-être été différente. En revanche, l’IA n’arrivera pas à la hauteur des cours singuliers de mon professeur d’histoire, qui apportait une armure médiévale et de vraies épées pour faire des démonstrations d’escrime. Sur 20 élèves de ma classe, 2 sont devenus docteur en histoire et archéologue, donc c’était vraiment un enseignant remarquable. Ils sont rares
Tu dis avoir été frustré par la réponse « apprends-le par cœur », mais je me demande si ce n’était pas un cas de lie-to-children (explication). Tu voulais une compréhension plus profonde, mais un certain niveau de mémorisation de base est parfois nécessaire avant d’aborder les concepts avancés
J’étais plutôt du genre à vouloir non seulement le résultat, mais aussi le chemin pour y arriver, qui l’a découvert et pourquoi, bref une explication historique plus approfondie. L’IA générative pourrait justement avoir le potentiel de fournir aussi le contexte et l’arrière-plan historique sous une forme narrative
Je me demande comment cette technologie agira dans un contexte de baisse de la littératie, d’anti-intellectualisme et d’isolement social. Même si la technologie est impressionnante, elle pourrait en réalité nous faire régresser. C’est peut-être pessimiste, mais j’ai l’impression que ça ne va pas rester un outil d’assistance pour les enseignants : ça va dériver vers leur remplacement
Les visions pessimistes sur la littératie — une sorte d’avis de décès social — arrivent toujours trop tôt. Au contraire, certains lecteurs s’orientent vers des ouvrages longs ou des contenus denses, dans une lecture de résistance intellectuelle. De mon côté, j’élargis mon vocabulaire et mes capacités d’expression grâce à 'Word Power Made Easy' de Norman Lewis et 'The Well-Spoken Thesaurus' de Tom Heehler. Dans ce processus, j’utilise ChatGPT et Gemini comme tuteurs personnels. Avec des consignes précises, ils m’aident à trouver des néologismes ou à rendre mes phrases plus claires. Grâce à la technologie, j’ai vraiment le sentiment que mon expression et ma communication se renforcent. Moi qui n’écrivais que des e-mails ou un journal, j’utilise désormais l’IA comme partenaire et soutien pour reconstruire des épisodes de ma vie en nouvelles, ou les réécrire dans le style d’auteurs que j’admire. Ce n’est pas un remplacement des enseignants, mais plutôt le socle d’une renaissance de l’auto-apprentissage
Si la baisse de la littératie t’inquiète, le problème n’est pas l’introduction ou non de technologies supplémentaires, mais les valeurs de la société dans son ensemble. Une société qui valorise la littératie ne se laisse pas convaincre par des démos ou des billets de blog promotionnels. À l’inverse, si une société n’accorde pas d’importance à la compréhension, à l’expertise et aux enseignants, elle cherchera toujours des raccourcis pour les remplacer
Je ne pense pas que cette approche soit la meilleure, mais je partage largement le constat de départ. Je me souviens très bien qu’en primaire et au collège, mes enseignants écartaient souvent mes questions trop facilement, sans réelle explication. Mon esprit restait bloqué sur ces interrogations frustrantes, ce qui m’empêchait de me concentrer sur le cœur du sujet, et l’enseignant n’avait peut-être ni le temps ni la préparation nécessaire pour suivre mes questions dans le cadre de l’école publique. Le rôle que j’attends des LLM, c’est d’être un outil d’accompagnement capable de guider en sécurité les explorations qui s’écartent du programme — rêveries, curiosités, digressions — tout en ramenant finalement l’élève vers les objectifs d’apprentissage visés.
D’après mon expérience, ce sont souvent ces petites curiosités qui mènent à une compréhension bien plus profonde.
Le TFA propose : « Et si l’élève pouvait concevoir lui-même son propre parcours d’apprentissage ? »
En réalité, dans le domaine de la non-fiction ou des manuels scolaires, c’est déjà faisable.
Jusqu’au lycée, je ne connaissais pas 'How to Read a Book'(wiki), et ce livre m’a ouvert les yeux sur l’idée que « lire entièrement dans l’ordre n’est pas forcément la seule bonne méthode ».
J’espère que grâce à l’IA, davantage d’élèves découvriront qu’il existe d’autres façons d’apprendre en dehors du programme imposé
J’espère qu’on verra réellement arriver un jour une technologie du type « A Young Lady's Illustrated Primer » dans Diamond Age
Est-ce que l’auteur de ce roman avait déjà prédit l’avenir à l’époque ? Un monde rempli de nanotechnologies et de nanobots…
Même quand j’ai acheté un pinenote, ça m’a fait penser à ce futur. Je trouvais amusante l’idée d’un appareil capable d’aider à étudier les maths comme le journal de Todd Riddle. Mais le développement côté Linux de pinenote avançait lentement, et comme j’étais moi-même occupé, j’ai fini par perdre l’intérêt