Teachable Machine, la plateforme d’apprentissage IA lancée en 2017

• Teachable Machine est un outil permettant de créer des modèles de machine learning directement sur le Web ; sa première version, sortie en 2017, reste disponible sur une page dédiée
• Les utilisateurs peuvent fournir des données d’entraînement via l’import de fichiers ou la capture en temps réel, avec la possibilité de choisir un mode où les données de la webcam et du micro ne quittent pas l’ordinateur
• Les modèles pris en charge se répartissent entre images, audio basé sur de courts échantillons sonores, et classification de postures du corps à partir de la webcam ou de fichiers
• Des exemples d’expérimentations sont également proposés, comme l’intégration avec Arduino, le déclenchement de sons par gestes du visage, ou une manette de jeu utilisant du papier et une webcam
• Les supports de cours, dont AI + Ethics et Ready AI Lesson, sont conçus pour aborder à la fois les notions de classification en machine learning et ses impacts sociaux

---

Des modèles Teachable Machine créés sur le Web

• Teachable Machine est un outil Web conçu pour créer rapidement et facilement des modèles de machine learning
• La première version, sortie en 2017, peut être consultée sur une page dédiée
  • first version of Teachable Machine from 2017
• Les exemples d’entraînement peuvent être fournis de deux manières
  • Utilisation de fichiers
  • Capture en temps réel
• Il est aussi possible de l’utiliser uniquement en mode on-device, afin que les données de la webcam ou du micro ne quittent pas l’ordinateur
• Les modèles pouvant être créés se répartissent en trois catégories
  • Images : entraîner un modèle de classification d’images à partir de fichiers ou d’une webcam
  • Sounds : enregistrer de courts échantillons sonores pour entraîner un modèle de classification audio
  • Poses : entraîner un modèle de classification de positions du corps à partir de fichiers ou de postures devant une webcam
• Un modèle reconnaissant l’orientation de l’inclinaison de la tête peut être reproduit avec le tutoriel Pose: Head Tilt

Expérimentations et supports pédagogiques

• Les expérimentations réalisées avec Teachable Machine couvrent des usages variés, du matériel à l’accessibilité en passant par les périphériques d’entrée pour jeux
  • Tiny Sorter : une expérimentation DIY reliant Arduino et Teachable Machine
  • La vidéo de Steve Saling : utilisation de Teachable Machine pour de nouveaux modes de communication, par exemple en déclenchant des sons avec des gestes du visage
  • Teachable Snake : une expérimentation de Vince MingPu Shao transformant une webcam et du papier en manette de jeu
• D’autres réalisations sont disponibles sur la page Experiments du tag Teachable Machine
• Si vous avez une réalisation à partager, vous pouvez envoyer un e-mail à [e-mail]
• Les ressources pédagogiques abordent à la fois les biais des systèmes algorithmiques et les impacts sociaux du machine learning
  • AI + Ethics : un cours technologique K-8 aligné sur le Common Core, créé par Blakeley H. Payne du MIT Media Lab Personal Robots Group, conçu pour aider les élèves à commencer à comprendre les biais des systèmes algorithmiques
  • Ready AI Lesson : un cours K-12 pour explorer Teachable Machine et apprendre le machine learning, la classification et ses impacts sociaux
• Les questions supplémentaires peuvent être consultées dans la FAQ

[GN⁺]

Commentaires sur Hacker News

• Le timing est bon, car il existe un cas d’usage parfait pour un projet hobby
  J’avais regardé l’ancienne version aussi, mais elle était assez limitée : « l’ancien Teachable Machine ne pouvait entraîner que 3 classes, mais désormais on peut en ajouter autant qu’on veut »
  Je me demande jusqu’où ça passe à l’échelle. Par exemple, est-ce que plusieurs centaines de milliers de classes sont possibles, et si oui, quelles en seraient les implications ?
  • La v1 était très limitée, mais extrêmement simple, et utilisait déjà une forme assez impressionnante de transfert d’apprentissage
    Par exemple, on prenait la sortie vectorielle en 1000 dimensions d’un réseau préentraîné pour des images appartenant à trois ensembles, puis, comme le modèle d’origine avait été entraîné sur Imagenet, on utilisait ensuite les K plus proches voisins pour prédire à quel ensemble appartenait une « nouvelle » image
    La v2 ajuste réellement les poids du réseau préentraîné. À l’époque, c’était un bon exemple de la rapidité avec laquelle les bibliothèques de machine learning en JavaScript progressaient
• J’ai retrouvé une vieille vidéo sur Teachable Machine datant de 6 ans
  https://www.youtube.com/watch?v=3BhkeY974Rg&ab_channel=Googl...
  Et en 2019, Google a présenté la v2 : https://blog.google/technology/ai/teachable-machine/
  Les tâches possibles sont limitées, donc c’est un bon point de départ pour débuter, mais je ne sais pas vraiment si la plateforme se développe rapidement
• Sympa. C’est exactement le genre d’activité à faire avec des enfants un jour de neige
• J’ai déjà pas mal regardé MediaPipe[1], mais je n’avais jamais entendu parler de Teachable Machine
  On dirait que les deux produits ont été pensés pour être utilisés ensemble, donc je me demande s’ils sont liés
  Je suis ravi de voir Google investir davantage dans des cas d’usage de machine learning en edge, surtout dans le navigateur. Si vous ne connaissez pas MediaPipe et que ceci a attiré votre attention, ça vaut vraiment le coup d’y jeter un œil. C’est particulièrement utilisé dans la communauté VTubing, et son implémentation du suivi de pose du corps, du visage et des mains basée sur BlazePose est performante
  1: https://developers.google.com/mediapipe
• Pour info, ce n’est pas un nouveau projet. Il y a une discussion HN d’il y a 6 ans : https://news.ycombinator.com/item?id=15399132
  • Le nouveau lien mentionne « première version en 2017 », donc Google semble considérer cette sortie comme la version 2
• C’était déjà discuté à l’époque
  Teachable Machine : apprendre à une machine à l’aide d’une caméra en temps réel dans le navigateur - https://news.ycombinator.com/item?id=15399132 - octobre 2017, 90 commentaires
• C’était une tentative de refonte amusante il y a quelques années
  https://fairpixels.pro/work1/index.html
• J’ai l’impression que c’est fondamentalement similaire à ce que fait un LLM multimodal. Comme il peut faire à la volée tout ce qu’il est capable de comprendre
  Quelle est la différence ici ?
  • C’est un modèle plus petit qu’on peut exporter et exécuter n’importe où
    Même le plus petit LLM multimodal serait probablement bien plus gros qu’un modèle exporté ici
  • L’essentiel, c’est la partie « enseignement ». Il ne s’agit pas d’utiliser un modèle déjà entraîné pour l’inférence, mais d’entraîner le modèle, ici en le réglant
    On fournit de nouvelles données, et ces données servent à mettre à jour le modèle. Avec une simple inférence sur un modèle multimodal existant, la méthode de classification elle-même ne change pas du tout
  • Cela semble plus proche du fine-tuning d’un modèle existant pour lui faire reconnaître les caractéristiques voulues, tout en le gardant assez léger pour tourner localement dans le navigateur
• Existe-t-il une alternative open source auto-hébergeable similaire ?
  • C’est auto-hébergeable
    Les données d’entraînement ne sont envoyées à aucun serveur et tout s’exécute localement dans le navigateur
    Sauf si vous choisissez de sauvegarder sur Google Drive, et si vous choisissez d’héberger le modèle chez Google, Google reçoit alors une copie des poids, mais ne voit toujours pas les données d’entraînement
    Ou bien vous pouvez l’héberger vous-même directement avec tensorflow.js
    Vous pouvez télécharger toutes les données d’entraînement ainsi que les poids dans un fichier zip, et dans ce cas Google ne voit absolument rien
    Si vous avez besoin du code source, il est ici -> https://github.com/googlecreativelab/teachablemachine-commun...