Les avancées des techniques de machine learning pour le machine learning

Optimisation des compilateurs ML

• Les compilateurs ML sont des routines logicielles qui transforment les programmes écrits par les utilisateurs en instructions exécutables sur le matériel réel.
• Les programmes ML peuvent être représentés sous forme de graphes de calcul, où les nœuds correspondent aux opérations sur les tenseurs et les arêtes au flux des tenseurs.
• Les compilateurs ML doivent résoudre divers problèmes d’optimisation complexes, notamment des optimisations au niveau du graphe et du kernel.

Dataset TpuGraphs

• L’objectif est d’améliorer les compilateurs ML afin d’accroître l’efficacité des modèles ML.
• Un modèle de coût entraîné est intégré au compilateur, prend en entrée le programme et la configuration du compilateur, puis produit le temps d’exécution estimé du programme.
• Le dataset TpuGraphs a été publié pour entraîner des modèles de coût sur des programmes exécutés sur les Tensor Processing Units (TPU) personnalisées de Google.

Compétition Kaggle

• La compétition "Fast or Slow? Predict AI Model Runtime", basée sur le dataset TpuGraph, s’est achevée avec 792 participants et 616 équipes.
• Les participants ont utilisé diverses techniques inédites, notamment l’élagage/compression de graphes, les valeurs de padding des caractéristiques, les caractéristiques des nœuds et l’attention inter-configurations.

Expo NeurIPS

• Si vous vous intéressez à la recherche sur les données structurées et l’intelligence artificielle, le panel de la NeurIPS Expo du 9 décembre, "Graph Learning Meets Artificial Intelligence", mérite votre attention.

L’avis de GN⁺

• L’optimisation des compilateurs ML est un domaine important qui peut améliorer considérablement la vitesse d’exécution et l’efficacité des modèles ML.
• Des ressources comme le dataset TpuGraphs contribuent à faire progresser la recherche sur l’optimisation de programmes fondée sur le ML et à améliorer les performances des systèmes ML.
• La compétition Kaggle sert de plateforme favorisant la collaboration et l’innovation dans la communauté ML, en aidant les participants à partager et à faire progresser de nouvelles approches et techniques.

[GN⁺]

Commentaires sur Hacker News

• Surévaluation des compilateurs ML

  Les compilateurs ML sont surévalués. Comme les compilateurs traditionnels, ils impliquent des compromis et, même s’ils offrent un meilleur débit que le fait d’embaucher des programmeurs de performance spécialisés, ces derniers peuvent souvent obtenir des performances bien supérieures. Les compilateurs ML sont inférieurs à plusieurs niveaux : sur le plan algorithmique, ils ne fournissent pas de retour sur la manière de modifier le réseau, entraînent une perte d’intention et génèrent des kernels inefficaces. Par rapport à des programmeurs assembleur spécialisés, les performances du compilateur chutent de plus de 30 %.

• État actuel et promesses des compilateurs ML

  Question sur l’état actuel des compilateurs ML et leurs promesses à court terme.

• Amélioration de la prédiction des performances d’exécution des graphes de calcul

  Résumé d’une amélioration de la méthode de prédiction des performances d’exécution des graphes de calcul à l’aide de GNN. Elle utilise un dictionnaire d’embeddings pour le code d’opération de chaque nœud ainsi que d’autres caractéristiques de nœuds, et publie différentes configurations de compilation XLA sur TPU ainsi que le jeu de données de performances correspondant. Pour améliorer les prédictions sur des graphes plus grands, elle utilise le partitionnement de graphe (partitionnement de graphe METIS) et d’autres méthodes d’entraînement. Cela concerne uniquement la prédiction des performances et non l’amélioration ou la proposition de nouveaux graphes équivalents.

• Question sur le projet Gemini

  Question sur l’état actuel du projet Gemini.

• Demande d’explication du fonctionnement d’une convolution (conv) dans un graphe

  Demande d’explication sur la manière dont une opération de convolution est effectuée sur un tenseur d’une forme spécifique.

• Caractère optimal des transformers

  Question sur l’existence d’indices montrant de quelle manière les transformers seraient optimaux.

• Avis sur le premier paragraphe

  Avis selon lequel le premier paragraphe masque l’idée principale, mais que le reste reste intéressant.

• Étonnement face à la vitesse de progression du ML

  Avis selon lequel le ML progresse actuellement à une vitesse étonnante et que, sans croire à la singularité, il transforme déjà le logiciel et la société de manière imprévisible.

• [Commentaire signalé]

  Deux commentaires ont été signalés et leur contenu n’est pas visible.