Spreadsheets are all you need - Apprendre l’IA avec des tableurs

 (spreadsheets-are-all-you-need.ai)
21 points par GN⁺ 2024-03-15 | 2 commentaires | Partager sur WhatsApp

Apprendre l’IA avec Excel

  • Apprendre comment fonctionne l’IA à travers un véritable LLM implémenté dans Excel
  • Implémentation du forward pass de GPT-2 uniquement avec des fonctions Excel, sans appel à une API externe
  • L’objectif est de montrer que si l’on peut comprendre les tableurs, on peut comprendre l’IA
  • Leçon 1 : comprendre GPT avec Excel
  • Leçon 2 : Byte Pair Encoding et tokenization
  • Bonus : examen détaillé de l’implémentation dans Excel (pour les personnes qui comprennent les Transformers)
  • Fourni au format XLSB (Excel Binary), donc téléchargeable et exécutable (Mac/Windows pris en charge, mais Windows est recommandé)
  • Limites de l’implémentation
    • Modèle GPT-2 miniature complet (124M de paramètres), incluant les étapes BPE, multi-head attention et multilayer perceptron
    • Inférence / forward pass uniquement (pas d’entraînement)
    • Contexte limité à 10 tokens
    • Limite de 10 caractères par mot
    • Sortie uniquement en Zero Temperature

FAQ

  • À propos de Google Sheets : ce projet a commencé sur Google Sheets, mais le modèle complet était trop volumineux, ce qui a conduit à passer à Excel. L’auteur explore encore des moyens de le faire fonctionner sur Google Sheets, mais il est probable qu’un fichier unique ne convienne pas aussi bien que dans Excel.
  • Pourquoi on ne peut pas discuter comme avec ChatGPT : en plus de la longueur de contexte très courte, il manque l’instruction tuning et l’apprentissage par renforcement à partir de retours humains (RLHF) nécessaires pour en faire un chatbot conversationnel.
  • Origine du nom : le nom "Spreadsheets-are-all-you-need" est un clin d’œil au titre du célèbre article "Attention Is All You Need", qui a présenté pour la première fois l’architecture d’apprentissage automatique Transformer.

Avis de GN⁺

  • Ce projet contribue à rendre l’IA et le machine learning plus accessibles. En utilisant un outil familier comme Excel pour faire comprendre une technologie complexe, il offre même aux non-spécialistes l’occasion d’apprendre les principes de base de l’IA.
  • L’implémentation dans Excel est utile pour comprendre visuellement le fonctionnement d’un véritable modèle d’IA, mais elle n’est pas destinée au développement réel d’IA. Apprendre l’IA de cette manière ne fait donc pas de quelqu’un un développeur IA professionnel.
  • Ce type d’outil pédagogique peut accroître l’intérêt du grand public pour l’IA et contribuer à la démocratisation des technologies d’IA. Mais pour construire de véritables systèmes d’IA, des outils et frameworks plus spécialisés restent nécessaires.
  • Parmi les projets comparables à visée pédagogique, on peut citer le Machine Learning Crash Course de Google ou le cours Machine Learning du professeur Andrew Ng sur Coursera. Ces formations combinent théorie et pratique pour offrir un apprentissage plus approfondi.
  • Lorsqu’on adopte cette approche, il faut comprendre qu’elle repose sur une méthode différente de celle du développement réel de modèles d’IA. Ce projet est centré sur un objectif éducatif, tandis que dans les projets concrets de développement IA, il est courant d’utiliser des frameworks spécialisés comme TensorFlow et PyTorch.

À lire aussi

2 commentaires

 
GN⁺ 2024-03-15
Commentaires Hacker News

  • Salutations et remerciements du créateur

    • Créateur du projet : merci d’avoir partagé le billet ; il espère répondre aux questions et aux suggestions, et aider les gens à mieux comprendre les LLM (Large Language Models). La prochaine vidéo portera sur les embeddings et devrait être terminée bientôt.

  • Enseigner les réseaux de neurones avec des feuilles de calcul

    • Jeremy Howard : il enseigne les réseaux de neurones (NNs) avec des feuilles de calcul depuis des années, et cette méthode est pédagogique et intuitive.

  • Expliquer les réseaux de neurones avec des feuilles de calcul

    • Désormais, au lieu de dire « ce n’est que du curve fitting », on peut expliquer à ses amis que « ce ne sont que des feuilles de calcul ».

  • Partage du lien vers la feuille de calcul

  • Question sur la nécessité du RLHF

    • Questionnement sur la possibilité de se passer de l’instruction tuning et du reinforcement learning from human feedback (RLHF), nécessaires pour transformer un grand modèle de langage en chatbot.

  • Étonnement devant la mise en œuvre de GPT-2 dans une feuille de calcul

    • Il est impressionnant de voir comment GPT-2 a été implémenté dans une feuille de calcul, et quelqu’un demande à l’auteur si ce projet sera open source.

  • Possibilité d’implémenter GPT-3 ou GPT-4 dans une feuille de calcul

    • Interrogation sur les raisons pour lesquelles une feuille de calcul ne pourrait pas implémenter GPT-3 ou GPT-4.

  • Un excellent projet pour aider à comprendre les LLM

    • Ce projet est excellent et a été transmis à 7 personnes pour les aider à mieux comprendre les LLM (Large Language Models).

  • Partage d’un exemple de résolution de PDE dans Excel

    • Quelqu’un partage qu’il existe des exemples de résolution d’équations aux dérivées partielles (PDEs) dans Excel. Il connaissait déjà la FFT (Fast Fourier Transform) et les fonctions spéciales, mais cela semble intéressant et amusant.

  • Une entreprise d’IA ayant des banques d’investissement comme clients

    • L’idée d’une entreprise d’IA ayant des banques d’investissement comme clients est jugée très judicieuse.