Guide du deep learning pour les ingénieurs : comprendre le modèle Transformer

Nous vivons le troisième âge d’or de l’IA. Lors des deux précédents âges d’or (années 1950-1960 et années 1980), les limites technologiques avaient entraîné des déceptions. Mais les technologies actuelles de l’IA dépassent les attentes. Le Transformer, introduit en 2017, a notamment commencé comme modèle de traduction automatique, mais influence aujourd’hui presque tous les domaines. Il est considéré comme une connaissance essentielle pour les ingénieurs d’aujourd’hui. Le premier objectif de ce document est d’offrir aux ingénieurs le chemin le plus court pour comprendre le Transformer.

Ce que propose ce document

• Guide concis : fournit suffisamment d’informations pour apprendre le Transformer.
• Exemples de code Python pratiques : aide à la compréhension en proposant des exemples de code Python que le lecteur peut exécuter lui-même.
• Références pour aller plus loin : présente différentes options de documentation afin de faciliter l’approfondissement.

Sommaire

• Partie 1 : Réseaux de neurones : présente les concepts de base des réseaux de neurones.
• Partie 2 : Réseaux de neurones récurrents (RNN) : explore les RNN, y compris les LSTM et les GRU.
• Partie 3 : Traitement du langage naturel (NLP) et mécanisme d’attention : fournit les principes fondamentaux du NLP, y compris la traduction automatique et les mécanismes d’attention.
• Partie 4 : Transformer : explique le modèle Transformer.
• Annexe : connaissances de base : fournit le minimum de connaissances en Python et en mathématiques nécessaires pour comprendre le Transformer.

FAQ

• Qui peut utiliser librement ce document ?
  • Les enseignants et étudiants appartenant à un établissement d’enseignement peuvent utiliser librement ce document et ses illustrations. Ce document et ses illustrations peuvent être utilisés dans des conférences et cours non commerciaux, à condition de mentionner le lien vers ce site et le copyright. Dans les autres cas, merci de prendre contact.
• Peut-il être utilisé dans du contenu commercial ?
  • Partage des revenus : ce contenu peut être utilisé après la conclusion d’un accord de partage des revenus. Conformément à cet accord, 20 % des ventes générées par l’utilisation de ce contenu doivent être reversés.
  • Rachat complet : dans de très rares cas, les demandes d’acquisition de l’ensemble des droits sur le contenu peuvent être envisagées. Le coût d’un rachat complet est de 10 000 000 €.
• Pourquoi l’auteur ne renonce-t-il pas au copyright de ce document et n’utilise-t-il pas de licence Creative Commons ?
  • Merci de prendre contact si vous avez des questions sur le maintien du copyright. Lors de l’envoi d’un e-mail, vous devez fournir au minimum deux adresses de réseaux sociaux (par ex. LinkedIn, Twitter). Depuis l’incident de la porte dérobée XZ, les contacts anonymes ne sont plus acceptés.

Exceptions

Les établissements d’enseignement peuvent utiliser librement ce document.

Résumé de GN⁺

• Ce document est un guide concis qui fournit les connaissances de base nécessaires pour comprendre le modèle Transformer.
• Il se distingue par ses exemples de code Python pratiques et ses nombreuses références, qui aident le lecteur à apprendre par lui-même.
• Le modèle Transformer est au cœur des technologies modernes de l’IA, et le comprendre est très important pour les ingénieurs.
• Ce document peut être utilisé librement par les établissements d’enseignement, tandis qu’une autorisation du détenteur des droits est nécessaire pour un usage commercial.
• C’est une ressource utile pour les personnes souhaitant explorer d’autres technologies ou projets liés au Transformer.