La nouvelle technique d’entraînement de l’IA de Google, JEST, est bien plus rapide qu’auparavant

• Des chercheurs de Google DeepMind ont publié un article présentant JEST, une nouvelle méthode pour accélérer l’entraînement de l’IA. Elle réduit considérablement les ressources de calcul et le temps nécessaires à cette tâche
• L’approche Multimodal Contrastive learning with Joint Example Selection (JEST) est jusqu’à 13 fois plus rapide et 10 fois plus efficace. Cela signifie qu’elle peut réduire les besoins énergétiques
• Selon un récent article de recherche, cette nouvelle approche d’un processus généralement très énergivore pourrait rendre le développement de l’IA plus rapide et moins coûteux. C’est une bonne nouvelle pour l’environnement

La forte consommation d’énergie de l’industrie de l’IA

• Les grands systèmes d’IA nécessitent une puissance de traitement importante, ce qui demande beaucoup d’énergie et d’eau pour le refroidissement
• La consommation d’eau de Microsoft aurait bondi de 34 % entre 2021 et 2022 en raison de la hausse de la demande en calcul IA
• L’IEA prévoit que la consommation électrique des centres de données doublera entre 2022 et 2026. Cela alimente les comparaisons entre la demande électrique de l’IA et le profil énergétique de l’industrie du minage de cryptomonnaies, souvent critiquée
• Cependant, des approches comme JEST pourraient offrir une solution. En optimisant la sélection des données pour l’entraînement de l’IA, il est possible de réduire fortement le nombre d’itérations et la puissance de calcul nécessaires, ce qui peut diminuer la consommation énergétique globale

Comment fonctionne JEST

• JEST sélectionne des lots de données complémentaires afin de maximiser la capacité d’apprentissage des modèles d’IA. Contrairement aux méthodes traditionnelles qui choisissent des exemples individuellement, cet algorithme prend en compte la composition de l’ensemble complet
• Les chercheurs de Google ont utilisé le « multimodal contrastive learning », dans lequel le processus JEST identifie les dépendances entre les points de données. Cette méthode améliore la vitesse et l’efficacité de l’entraînement de l’IA tout en nécessitant beaucoup moins de puissance de calcul
• L’un des éléments clés de l’approche était l’utilisation d’un modèle de référence préentraîné pour guider le processus de sélection des données. Grâce à cette technique, le modèle a pu se concentrer sur des jeux de données de haute qualité et soigneusement curés, optimisant encore davantage l’efficacité de l’entraînement
• L’entraînement sur le jeu de données WebLI avec JEST a montré des améliorations remarquables en vitesse d’apprentissage et en efficacité des ressources
• L’algorithme accélère le processus d’entraînement en utilisant une technique appelée « data quality bootstrapping », qui se concentre sur certains fragments de données « correspondants ». Cette technique privilégie la qualité à la quantité et s’est révélée plus efficace pour l’entraînement de l’IA