State of GPT [vidéo de 42 min]

 (build.microsoft.com)
34 points par xguru 2023-06-01 | 2 commentaires | Partager sur WhatsApp
  • Présentation d'Andrej Karpathy à Build 2023
  • Composé de 2 parties
    • Comment entraîner un assistant (Chat)GPT
    • Comment appliquer cet assistant à sa propre application
  • Explication approfondie de la tokenization, du pretraining, du supervised finetuning, du reinforcement learning from human feedback, etc.,
    ainsi que présentation des stratégies de prompt, de divers outils de l'écosystème et des extensions futures

À lire aussi

2 commentaires

 
kuroneko 2023-06-01

En le résumant, on obtient ceci.

  • Les grands modèles de langage comme GPT sont entraînés via une phase de pré-entraînement sur de grandes quantités de données textuelles, puis par un ajustement fin consistant en un réglage pour des tâches spécifiques.
  • Le pré-entraînement consiste à prédire le mot suivant dans une séquence afin d’apprendre des représentations générales du langage. Le fine-tuning adapte ensuite le modèle à une tâche précise.
  • Le prompting peut aussi être utilisé pour appliquer un modèle de langage à une tâche sans fine-tuning, en fournissant au modèle un prompt pour générer une réponse.
  • Le fine-tuning supervisé entraîne un modèle assistant à l’aide de données annotées contenant des prompts et des réponses idéales.
  • Les performances peuvent encore être améliorées en appliquant un apprentissage par renforcement à partir de retours humains, afin d’entraîner le modèle assistant à produire des réponses mieux évaluées par les humains.
  • Des techniques de prompt engineering qui montrent étape par étape le processus de travail du modèle ou fournissent des exemples peuvent améliorer les performances d’un modèle de langage.
  • Les modèles de langage ne disposent pas du monologue interne ni des capacités de raisonnement propres aux humains ; le prompting doit donc compenser cela.
  • Donner à un modèle de langage un accès à des outils externes, à une calculatrice et à des bases de connaissances peut améliorer ses performances.
  • Ajuster finement certaines parties d’un modèle de langage pour des tâches spécifiques peut améliorer les performances, mais c’est plus complexe.
  • Il subsiste encore plusieurs limites des modèles de langage, notamment des biais, des erreurs de raisonnement et une vulnérabilité aux attaques.
 
xguru 2023-06-01

https://www.youtube.com/watch?v=bZQun8Y4L2A

La même vidéo est aussi disponible sur YouTube, mais le site de Microsoft propose des sous-titres coréens traduits par IA, donc je la partage de ce côté-là.