OpenAI dévoile le mode Study de ChatGPT

• Développé pour répondre aux inquiétudes du monde éducatif sur le fait que ChatGPT aide réellement à apprendre ou se contente de donner les réponses
• Au lieu de fournir directement des réponses, il soutient le processus d’apprentissage grâce à un accompagnement étape par étape et des interactions
• Ajuste les questions guidées selon les objectifs et le niveau de compétence, afin de favoriser l’engagement, une compréhension approfondie et la réflexion
• Développé en collaboration avec des enseignants, des scientifiques et des experts en sciences de l’éducation, avec des consignes système personnalisées fondées sur les sciences de l’apprentissage, notamment pour encourager la participation active, gérer la charge cognitive, développer la métacognition et l’autoréflexion
• Comprend diverses fonctionnalités éducatives comme des cours personnalisés, des quiz de vérification des connaissances, des retours, et le suivi de la progression
• Le mode est continuellement amélioré à partir des retours réels d’étudiants dans l’enseignement supérieur et à l’université, et des fonctions comme la visualisation, le suivi des objectifs et une personnalisation plus poussée sont prévues**

Fonctionnalités principales

• Prompts interactifs : combine questions socratiques, indices et autoévaluation pour inciter l’utilisateur à réfléchir par lui-même
• Réponses avec assistance supplémentaire : fournit des informations étape par étape en tenant compte des liens entre les sujets, tout en réduisant la surcharge cognitive
• Assistance personnalisée : évalue le niveau de compétence, se souvient des conversations précédentes et propose des cours adaptés à l’utilisateur
• Vérification des connaissances : suit la progression avec des quiz, des questions ouvertes et des retours personnalisés, afin de renforcer la mémoire et la capacité d’application
• Flexibilité : le mode Study peut être activé ou désactivé à tout moment pendant la conversation

Essayer dans ChatGPT

[GN⁺]

Avis Hacker News

• Je pense que les LLM sont sous-estimés comme partenaires d’étude, parce qu’on peut poser librement des questions « stupides » sans aucune gêne. Un mode qui explique pas à pas au lieu de répondre de façon lapidaire, ça ressemble vraiment à de la magie. C’est comme avoir un assistant compétent disponible 24 h/24, donc un outil rêvé pour étudier seul. Avant, il y avait énormément de difficultés avec les informations inexactes ou obsolètes en ligne, l’absence de feedback, et des communautés parfois abruptes, alors que maintenant l’expérience est incomparablement meilleure. Bien sûr, ça ne veut pas dire qu’il faut croire aveuglément les informations données par l’IA, il faut les vérifier soi-même. Certains l’utiliseront sans rigueur, mais comme avec les vieux livres ou les manuels, l’aide que cela apporte dépend beaucoup de l’attitude de la personne. Je suis à la fois très excité et émerveillé de vivre à une époque où l’on peut utiliser ce genre d’outil

  • Je suis d’accord sur le fait qu’il y a quelques années, apprendre quelque chose en ligne était souvent difficile à cause d’informations erronées, de réponses malveillantes ou du manque de feedback immédiat. Mais avec l’IA actuelle, on est pratiquement obligé de douter à chaque fois de la justesse de la réponse et de se demander si elle n’hallucine pas. J’ai souvent constaté qu’elle donnait de mauvaises réponses à des questions factuelles. Et quand on signale ce problème, on nous répond toujours que le dernier modèle a été amélioré, avec au passage une demande d’abonnement coûteux. Le pire, c’est que l’IA capitule beaucoup trop facilement dès qu’on conteste sa réponse. Elle n’arrive pas à défendre ce qu’elle dit, et à mon avis ce n’est pas une qualité acceptable chez un enseignant. Au final, l’IA n’est qu’un outil utile, mais il ne faut pas lui faire une confiance excessive, donc il faut toujours garder un scepticisme sain. En réalité, on peut dire la même chose des méthodes d’enseignement classiques

  • Le mode qui explique les contenus étape par étape est séduisant, mais j’ai l’impression que ces systèmes ont toujours le problème de mentir avec assurance. Par exemple, il existe un easter egg où le logo de DuckDuckGo change selon la requête de recherche, mais si on le demande à Copilot, il répond que non, puis si on le contredit, il dit soudain que si, en ajoutant même des exemples absurdes, comme expliquer qu’en cherchant un chat, on obtient un logo en forme de chat. Le problème avec Copilot, c’est qu’il ne sait manifestement pas, mais au lieu de dire qu’il ne sait pas, il répond faux

  • Je trouve très réaliste la peur de poser des questions idiotes. C’est encore plus vrai quand on a été blessé auparavant par des professeurs ou enseignants qui humiliaient leurs élèves. J’ai déjà vu une vidéo d’un professeur réputé ridiculisant un étudiant, et ça m’a suffi pour arrêter de suivre ses cours

  • Quand on regarde l’adoption historique de l’IT dans les écoles, les États-Unis ont injecté des dizaines de milliards dans l’éducation sans amélioration réelle des résultats d’apprentissage. C’est ce qui nourrit le scepticisme. Je pense aussi qu’avant de dépenser 100 milliards de dollars, il faut d’abord prouver que cela fonctionne réellement. Pour l’instant, je considère qu’il n’existe pas encore de preuve décisive

  • J’ai un niveau B1 en espagnol, et avec ChatGPT je crée des leçons sur mesure, je pose des questions sur les nuances de langue, et je m’exerce à l’oral, ce qui me donne une expérience d’apprentissage bien meilleure que les applis classiques

• Je peux dire avec certitude que les LLM ont été un outil absolument incroyable pour apprendre seul de nouvelles choses après mes études supérieures. Avant, quand je ne comprenais pas un concept, il n’y avait pratiquement aucune piste, et si ce n’était pas une question courante sur Stack Exchange, il fallait se débrouiller seul. Maintenant, c’est comme avoir un chargé de TD personnel disponible à tout moment. On dit parfois que cela rend l’apprentissage trop facile ou trop superficiel, mais presque personne ne penserait qu’un étudiant apprend mieux sans chargé de TD

  • Personnellement, d’après mon expérience, je n’ai pas l’impression d’avoir affaire à une sorte de chargé de TD accessible à tout moment pour tout le monde. Dès qu’on entre un peu en profondeur, les LLM deviennent vite inutiles. C’est encore plus vrai lorsqu’il faut trouver des sources académiques fiables ou traiter des sujets complexes et controversés

  • Récemment, en réparant et examinant un vieil appareil équipé d’un Intel CPU de 9e génération de 2020, le LLM m’a expliqué très facilement les différences entre générations et la compatibilité des sockets, au point que je me sentais presque indigne d’avoir un outil aussi pratique. Dans certains domaines, ce n’est pas terrible, mais dans d’autres, c’est vraiment stupéfiant

  • Depuis la sortie de ChatGPT, j’ai l’impression d’avoir retrouvé l’ancien Google. Avant, quand j’apprenais un nouveau langage de programmation, je trouvais facilement les informations importantes sur Google, mais depuis quelques années Google est devenu inutile. Même quand l’information que je cherche existe, elle se retrouve noyée dans les résultats

  • ChatGPT m’a aidé à établir un plan d’apprentissage adapté à mon cas et m’a encouragé à rédiger des notes et des articles, ce qui m’a permis d’apprendre Rust en 12 semaines. À partir de ce processus, j’ai créé en espagnol https://rustaceo.es à partir de mes notes, et j’ai l’impression que le potentiel de cette approche est infini

  • Avant, j’ai longtemps galéré chez moi parce que je ne comprenais pas un problème IPv6, mais grâce à ChatGPT j’ai pu analyser le trafic avec tcpdump et me faire expliquer pas à pas le fonctionnement du réseau. J’ai aussi appris en détail RA et NDP, qui remplacent le rôle de DHCP et ARP en IPv4. J’ai finalement découvert que les anomalies répétées dans mon réseau mesh WiFi venaient d’un répéteur bon marché. Ça me frustrait depuis 5 ans parce que je n’en trouvais pas la cause, et j’ai enfin résolu le problème

• J’ai extrait le system prompt du Study Mode de ChatGPT. Les consignes du type « ne réponds pas directement à la question de l’utilisateur et ne fais pas ses devoirs à sa place ; pour les problèmes de maths/logique, ne donne pas la solution immédiatement, pose des questions étape par étape et laisse à l’utilisateur la possibilité de répondre à chaque étape » sont assez frappantes. lien gist

  • J’aimerais que chaque fournisseur de LLM ajoute aussi une consigne du genre « répondre de façon concise et sans superflu ». Je lis lentement, donc c’est pénible de devoir tout lire, même les explications inutiles. Le flot de réponses trop rapide peut même devenir anxiogène. En plus, ça réduirait sans doute les problèmes de contexte

  • C’est amusant de voir que les majuscules (CAPS) ont réellement un effet sur les LLM

  • Je me demande quel résultat on obtiendrait en appliquant ce prompt à d’autres modèles. Je suis curieux de savoir si le ChatGPT Study Mode repose uniquement sur un system prompt spécial ou s’il y a d’autres différences, et j’ai déjà ressenti des effets positifs en utilisant des prompts similaires pour pousser un apprentissage approfondi sur un sujet

  • Je trouve intéressant que ces consignes internes soient si faciles à révéler. OpenAI semble avoir voulu garder le system prompt privé, mais comme n’importe qui peut y accéder facilement, on en vient presque à penser que c’est volontaire

  • J’ai moi aussi extrait un system prompt similaire, qu’on peut voir à ce lien

• En tant qu’apprenant à vie, j’ai le sentiment qu’une grande partie du temps d’étude est consacrée à la recherche de ressources. L’IA semble très efficace pour aider sur cette partie. En revanche, pour construire le modèle logique d’un sujet dans sa tête, dépendre de l’IA donne plutôt l’impression que ce n’est pas moi qui ai appris, mais seulement que j’ai rassemblé les « embeddings » de l’IA, et dans ce cas je suis incapable de restituer quoi que ce soit sans elle. Je pense qu’il est important de stocker dans son propre cerveau un modèle cohérent et hors ligne

  • Je suis d’accord avec l’idée que « l’essentiel de l’étude, c’est la recherche ». On vivait à une époque où savoir chercher était en soi une compétence importante, et au cours de cette recherche on apprenait aussi des choses connexes mais inattendues. Je trouve un peu dommage que la génération suivante risque de perdre cette capacité

  • Je pense justement que le but du Study Mode n’est pas de donner la bonne réponse, mais de guider la personne dans le processus pour qu’elle la trouve elle-même. En réalité, beaucoup de gens ne savent pas vraiment apprendre de cette manière

  • Déléguer la compréhension est une attitude dangereuse sur le long terme, et il faut garder une hygiène de pensée personnelle

  • L’IA a aussi le grand avantage de pouvoir trouver des associations originales que les mots-clés ne permettent pas de repérer

• J’aimerais vraiment voir l’efficacité du Study Mode évaluée précisément par des essais randomisés contrôlés. Je voudrais savoir si cela aide réellement les étudiants, si c’est supérieur à l’apprentissage autodirigé, et quelle différence il y a entre faire des erreurs soi-même et se faire guider à répétition vers les concepts. J’aimerais aussi que Study Mode isole automatiquement les informations qui peuvent être utilisées pour des flashcards et du spaced repetition, par exemple avec Mochi ou Anki. Au passage, je recommande aussi cette conférence d’Andy Matuschak

  • En réalité, Study Mode ne fournit pas la fonctionnalité décrite plus haut. L’objectif des investisseurs, c’est de faire en sorte que l’étudiant dise « sans Study Mode je n’aurais rien pu apprendre », puis de lui faire résumer ses supports de cours pour les réutiliser comme données maison

  • Il existe déjà un article de recherche sur un tuteur IA montrant un effet similaire. D’après cet article, l’amélioration de l’apprentissage dans le groupe avec tuteur IA est plus de deux fois supérieure à celle du groupe de cours réel en active learning

  • Il existe aussi des études selon lesquelles les LLM ralentissent les développeurs expérimentés. Je pense que cela pourrait aussi être vrai pour l’apprentissage autodirigé. Mais les LLM rendent l’apprentissage lui-même plus agréable, donc ils donnent envie de continuer au lieu d’abandonner. Si on apprend dans le plaisir, même en allant un peu moins vite, on peut au final apprendre davantage et plus longtemps de manière régulière. Au bout du compte, en matière d’apprentissage, ce ne sont pas les plus rapides qui gagnent, mais ceux qui tiennent dans la durée, et je pense que les LLM rendent cela plus possible

  • Je serais curieux de voir des études sur l’effet du tutorat dans les universités d’élite. D’après mon expérience, les étudiants des établissements prestigieux retirent moins une aide réelle des tuteurs qu’ils ne récupèrent simplement les bonnes réponses, parfois même en leur faisant faire les devoirs, puis s’imaginent avoir appris quelque chose. Or l’apprentissage réel passe justement par les moments où l’on s’interroge, où l’on se perd et où l’on se trompe. Et l’usage des LLM ressemble beaucoup à cela : dès qu’un exercice devient difficile ou qu’on bloque, on va immédiatement demander de l’aide à ChatGPT pour obtenir la solution sans tâtonnement. Ensuite, ces étudiants se sentent anxieux pendant les examens et demandent de plus en plus d’exercices. Je constate aussi de manière très concrète qu’un nombre croissant d’étudiants n’arrive même plus à lire seul un manuel après le cours

  • Cela peut faire une grande différence pour des étudiants déjà très motivés, mais il n’y en a pas tant que ça, et avec la baisse de la capacité de concentration, j’ai l’impression que leur proportion diminue encore

• Une de mes connaissances dirige une startup edtech utilisant OpenAI. Quand de grands acteurs comme OpenAI entrent sur le même marché, les petits développeurs peuvent se retrouver désavantagés à tout moment. C’est pourquoi l’idée de bâtir une activité dépendante de ce type de modèle me fait peur, et je pense qu’il faut avancer avec prudence

  • Je me demande si, au début des technologies, on considérait déjà comme évident que les entreprises matérielles finiraient toujours par copier le logiciel, l’intégrer à leur offre, puis concurrencer les éditeurs. J’ai l’impression que la situation actuelle est très comparable, et beaucoup pensent que les fournisseurs de modèles auront toujours l’avantage sur les entreprises qui se greffent sur eux, mais je n’ai pas encore vu de preuve solide que ce soit forcément le cas

  • Comme l’hébergement de LLM avec facturation au token devient de moins en moins rentable, il est de plus en plus évident que les grands acteurs cherchent à copier à grande échelle (Sherlock) toutes les startups et applis qui montrent un potentiel de croissance

  • Si on développe dans un domaine adjacent aux LLM, il faut toujours garder cela à l’esprit et, vu la puissance de déploiement et les moyens financiers des grands groupes, on court naturellement le risque de disparaître à terme

  • Je me demande pourquoi des fondateurs feraient semblant de ne pas voir ce qui se passe. Il est clair depuis le départ qu’OpenAI ne comptait pas s’arrêter à la simple fourniture de LLM et qu’elle allait avancer sur davantage de marchés

  • L’existence du risque est évidente ; la vraie question est la valeur réelle qu’on ajoute. Si c’est une activité opportuniste, il faut aller vite ; si c’est un projet de long terme, il faut construire quelque chose de plus original qu’une fonctionnalité que n’importe qui peut lancer immédiatement

• La stratégie centrale de mon apprentissage avec les LLM consiste à étudier principalement à partir de livres, puis à n’utiliser les LLM que pour les solutions formelles, les questions de contexte et la vérification de compréhension. Qu’il s’agisse de déchiffrer la notation mathématique d’un nouveau domaine ou de poser des questions de contexte sur un ouvrage de philosophie idéaliste allemande, le LLM m’éclaire immédiatement sur des points avec lesquels j’aurais énormément peiné sans lui, ce qui me fait gagner beaucoup de temps. Surtout, pendant l’étude, ce qui compte est de tester immédiatement mon niveau de compréhension. Avant, il m’arrivait d’avancer avec une mauvaise compréhension, puis de devoir revenir en arrière ; maintenant, je peux exposer mon intuition sur une formule ou un concept et la faire vérifier par un LLM, et un simple retour du type « ce n’est pas tout à fait ça » suffit pour me faire revoir le passage. Au final, les livres restent ce qu’il y a de mieux en densité d’information, mais les LLM peuvent énormément accélérer les choses en appui

• J’ai vraiment l’impression qu’il manque aujourd’hui l’interface adéquate pour toutes ces fonctions. Study Mode écrit des murs de texte en mélangeant informations, exemples et questions, mais il n’existe aucun moyen de relier les réponses à des questions précises pour les consulter ensuite. Une UI de chat n’est pas adaptée à cette forme d’usage. Il faudrait une interface séparée de type canvas/artifact où les questions et réponses seraient liées entre elles et où le contenu serait structuré. J’ai l’impression qu’on essaie actuellement de faire entrer trop de choses dans une interface conversationnelle beaucoup trop simple

  • En pratique, quand un étudiant dit vouloir apprendre toute la théorie des jeux, cela montre très clairement que les deux parties supposent un processus linéaire dans une seule session de chat. Au final, ce n’est pas un apprentissage en profondeur

  • J’ai essayé avec periplus.app. Ce n’est pas parfait, mais l’expérience utilisateur est clairement différente de celle du chat

  • J’ai plusieurs idées UX. Par exemple, permettre d’évaluer sa compréhension après chaque explication, fournir des explications supplémentaires uniquement sur les points mal compris, représenter la structure des connaissances sous forme d’arbre, proposer des graphes manipulables, des quiz interactifs, etc. C’est peut-être hors du périmètre de ChatGPT, mais j’y vois une opportunité pour d’autres applis ou startups

  • Je ne pense pas qu’il existe une interface parfaite. Si l’on a vraiment la volonté et l’effort d’apprendre, on peut y parvenir avec n’importe quel support, du rouleau au livre, de l’ebook à l’IA

• Le fait que ce ne soit pas une fonctionnalité de base mais un « produit séparé » en dit long sur l’époque. C’est quelque chose que n’importe quel LLM peut faire avec une simple combinaison de prompts. On dit que Study Mode a été développé avec des enseignants, des scientifiques et des experts en psychologie de l’éducation, mais je reste sceptique sur la présence de véritables spécialistes

• J’apprends Janet en ce moment, et utiliser ChatGPT comme tuteur est inconfortable. Même à une question comme « si local et var sont tous les deux des variables locales, quelle est la différence ? », il répond par « excellente question, vous touchez au cœur du sujet », puis enchaîne avec une hallucination plausible. C’est un bon tuteur sur les sujets qu’il maîtrise, mais je pense qu’il doit connaître ses limites

  • Les LLM ont tendance à ne donner de très bonnes réponses que sur des exemples très connus, comme React todo list, bootstrap form ou vue tic-tac-toe

  • Dans ce genre de cas, je conseille plutôt de charger directement l’intégralité du guide ou de la documentation dans le contexte

  • Cela me fait penser, en comparaison avec OpenAI et les entreprises dopées au sound money, à un tuteur qui semble avoir désespérément besoin d’argent