Intel publie une bibliothèque d’accélération NPU

Bibliothèque d’accélération Intel® NPU : améliorer les performances de l’IA avec le processeur neuronal d’Intel

• La bibliothèque d’accélération Intel NPU est une bibliothèque Python qui exploite la puissance du processeur neuronal Intel (NPU) afin d’améliorer l’efficacité des applications d’intelligence artificielle. Elle optimise les charges de travail IA en orchestrant efficacement le calcul et les flux de données pour des performances et une efficacité énergétique optimales, en maximisant l’utilisation des ressources de calcul et en minimisant les transferts de données.

• La bibliothèque est conçue pour les processeurs Intel Core Ultra, qui intègrent le NPU, des fonctions d’accélération du calcul et de transfert de données. Elle se caractérise par un moteur de calcul neuronal pour les opérations d’IA, un moteur vectoriel à architecture hybride en streaming pour les tâches de calcul générales, ainsi qu’un moteur DMA pour un transfert de données efficace.

• Parmi les principales fonctionnalités de développement figurent la quantification en 8 bits et 4 bits, l’inférence mixte native sur NPU, la prise en charge de Float16 et BFloat16, la prise en charge des fichiers torch.com, l’implémentation de la fusion horizontale MLP pour les LLM, l’inférence à forme statique, l’inférence MHA sur NPU et le calcul hétérogène NPU/GPU.

• Pour utiliser la bibliothèque, vérifiez qu’un NPU est disponible sur votre système puis installez le paquet via pip. Elle est compatible avec les systèmes Windows et Linux, mais MacOS n’est pas encore pris en charge. Pour obtenir les meilleures performances, mettez à jour le pilote NPU vers la version la plus récente.

• La bibliothèque fournit des exemples d’implémentation et prend en charge les fichiers torch.com pour optimiser les modèles PyTorch pour le NPU. Elle offre également des fonctionnalités explicites lors de la compilation de modèles avec une version de PyTorch antérieure à 2.0.0 ou dans un environnement Windows.

[kuroneko]

On peut se demander jusqu’où l’IA pourra aller avec le seul NPU, même sans carte graphique dédiée.