Implémenter GPT en 60 lignes avec NumPy

• Un tutoriel pour implémenter simplement GPT en partant du principe que l’on est familier avec Python et NumPy, puis charger le modèle GPT-2 publié par OpenAI afin de générer du texte

Sommaire

• Qu’est-ce que GPT ?
• Configuration : Encoder, Hyperparameters, Parameters
• Couches de base : GeLU, Softmax, Layer Normalization, Linear
• Architecture de GPT
  • Embeddings
  • Pile de décodeurs
  • Projection vers le vocabulaire
  • Bloc de décodeur
  • Réseau feed-forward positionnel
  • Attention causale multi-tête auto-régressive
• Tout assembler
• What's Next?
  • Support GPU/TPU
  • Backpropagation
  • Batching
  • Optimisation de l’inférence
  • Entraînement
  • Évaluation
  • Améliorations de l’architecture