Une technologie de tableur basée sur les transformeurs

 (byhand.ai)
2 points par GN⁺ 2025-02-08 | 1 commentaires | Partager sur WhatsApp
  • Lors du processus de personnalisation manuelle des ressources AI by Hand, des erreurs pouvaient se glisser dans les solutions, d’où le besoin d’un outil permettant aux utilisateurs de créer eux-mêmes des exercices et leurs solutions
  • Après avoir étudié plusieurs approches de mise en œuvre, le choix s’est porté sur Google Sheets, afin d’adopter un format accessible et modifiable par un plus grand nombre
  • Les ressources publiques incluent un Google Sheet pour s’exercer aux transformeurs, consultable immédiatement
  • Les ressources AI by Hand existantes ont été personnalisées avec plusieurs formateurs en IA et sont utilisées dans de nombreuses salles de classe dans le monde
  • L’outil en est encore à un stade précoce, si bien que les retours d’usage peuvent influer directement sur son amélioration

Un outil d’exercices AI by Hand créé avec Google Sheets

  • L’objectif est de permettre aux personnes d’insérer des nombres et solutions personnalisés afin de créer leurs propres exercices AI by Hand
  • Après avoir examiné plusieurs technologies, il a été décidé d’utiliser Google Sheets pour élargir l’accessibilité
  • Un Google Sheet pour s’exercer aux transformeurs a été publié

Limites de la personnalisation manuelle et appel à retours

  • Ces derniers mois, plusieurs formateurs en IA ont collaboré à la personnalisation des supports d’exercices AI by Hand
  • Ces supports sont utilisés dans de nombreuses salles de classe à travers le monde, et le processus de personnalisation a entièrement été réalisé à la main
  • Dans ce processus manuel, des erreurs pouvaient se glisser dans les solutions, et certains étudiants les ont effectivement repérées
  • L’outil en est encore à un stade précoce, et des retours sont donc souhaités

À lire aussi

1 commentaires

 
GN⁺ 2025-02-08
Commentaires Hacker News

  • Je suis vraiment curieux : après avoir suivi ça, je ne vois pas bien ce que les gens ont l’impression d’avoir compris.
    Si l’on écrit absolument toutes les multiplications matricielles d’une régression linéaire, peut-on vraiment dire qu’on a compris ? Je me demande si l’essentiel est la façon de l’implémenter, ou si cela donne une intuition plus profonde.
    Je vois bien l’intérêt de la visualisation, mais au-delà de ça, je ne vois pas très bien quel est le bénéfice pédagogique réel. Je viens du ML/des maths, mais je n’ai pas enseigné depuis plus de dix ans, donc il y a peut-être quelque chose qui m’échappe.

    • J’ai plutôt l’impression que l’effet recherché est l’inverse, et en tout cas c’est ce que ça m’a fait.
      Quand GPT-3 est sorti, même avec un bagage limité en ML, ça ressemblait presque à de la magie ; plus tard, après avoir vu la vidéo de 3blue1brown sur les Transformers, j’ai trouvé les maths elles-mêmes assez simples, au point d’en être un peu déçu.
      Le point clé, c’est que des éléments de base simples, mis à l’échelle suffisamment grand, peuvent produire des résultats étonnants ; un peu comme l’idée que des principes à la Conway’s Game of Life peuvent faire émerger des comportements émergents très complexes et utiles.
    • Ce genre d’exemple jouet a de la valeur pour vérifier qu’on comprend réellement la structure centrale.
      On peut voir des schémas ou des équations qui expliquent un bloc Transformer, mais passer de là à une implémentation réelle est une autre affaire. Avec ce type d’exemple, on peut vérifier où et quoi est calculé, ainsi que les dimensions des vecteurs et des matrices.
      La plupart des gens qui veulent utiliser des LLM n’en auront sans doute pas besoin, mais personnellement j’aime creuser les principes de fonctionnement à très bas niveau. Ce genre d’exemple est beaucoup plus facile à manipuler que le code source d’un vrai modèle Transformer, et une fois qu’on maîtrise l’exemple jouet, le vrai code devient aussi plus facile à appréhender.
    • Sur les fondamentaux, il y a une vraie valeur pédagogique. En particulier pour les étudiants en informatique peu à l’aise en maths, cela peut montrer comment la différentiation automatique transforme le calcul différentiel en algèbre matricielle.
      Le reste a aussi du sens comme feuille d’exercices à suivre en parallèle d’un cours. Pour coder, je préfère les ipynb, mais pour les algorithmes, les calculs à la main sont très bien aussi. En 2025, si on ne fait pas ce genre de choses, un quart de la classe regardera son téléphone et les trois autres quarts risquent de ne pas venir en cours.
      Si vous pouvez lire seul des articles ou du code source et que les maths ne vous font pas peur, ce type de support n’est peut-être pas destiné à vous.
    • Ces visualisations sont excellentes parce qu’elles désacralisent le machine learning. Au fond, ce n’est qu’une procédure, et cela montre qu’il n’y a pas d’intelligence au sens humain à l’intérieur.

  • Comme ressource connexe pour enseigner les bases de l’IA et donner une intuition de son fonctionnement interne, AI Unplugged[1] est très bien. On peut faire des activités sous forme de jeux avec des outils comme des stylos, des crayons et des cartes.
    Je l’ai utilisé plusieurs fois avec des publics variés peu familiers de l’IA/du ML, enfants comme adultes, et à chaque fois ils ont apprécié et semblaient repartir avec une meilleure compréhension du monde moderne dans lequel ils vivent.
    [1] http://www.aiunplugged.org

  • On peut aussi construire GPT-2 avec Excel : https://www.youtube.com/watch?v=yjD2n_e9E3w&ab_channel=Sprea...

  • Le titre dit Spreadsheet et, en pratique, ça utilise Google Sheets ; je ne sais donc pas pourquoi il était question d’Excel ici.

    • C’est maintenant corrigé. Le titre soumis était « Transformer Implemented Using Excel ».

  • C’est bien d’avoir utilisé la fonctionnalité de l’endpoint /copy de Google Docs. Ça réduit beaucoup les frictions quand on enseigne.

  • On pourrait aussi dire que cela peut être implémenté dans une base de données comme Postgres, avec des procédures stockées, des fonctions et des triggers.
    D’une certaine façon, une base de données est un tableur doté d’un langage de requête bien plus solide.

  • Fil HN similaire : https://news.ycombinator.com/item?id=42967173

  • Autre ressource à voir dans le même esprit : des bases classiques de vision par ordinateur implémentées dans Excel uniquement avec des formules : https://github.com/amzn/computer-vision-basics-in-microsoft-...
    Soumission HN d’origine : https://news.ycombinator.com/item?id=22357374
    Pour info, j’en suis l’auteur principal.