Apple dévoile la puce M5, qui améliore radicalement les performances en IA

• La puce M5 intègre un Neural Accelerator dans chaque cœur GPU, ce qui porte la vitesse des calculs d’IA à plus de 4 fois celle de la M4
• Elle combine un GPU 10 cœurs, un Neural Engine 16 cœurs et une bande passante mémoire unifiée de 153 Go/s pour renforcer fortement les performances à la fois des modèles d’IA on-device et du traitement graphique
• Intégrée aux MacBook Pro 14, iPad Pro et Apple Vision Pro, elle améliore nettement la vitesse d’exécution des workflows basés sur l’IA, des modèles de diffusion et des modèles de langage
• Grâce au nouveau moteur de ray tracing de 3e génération et au Dynamic Caching de 2e génération, elle offre jusqu’à 45 % de performances graphiques supplémentaires dans les jeux et les applications 3D
• Apple souligne que la puce M5 constitue une plateforme clé pour l’ère de l’IA, marquant le prochain grand bond d’Apple Silicon à la fois en efficacité énergétique et en performances

---

Aperçu de la puce M5

• La puce M5 est un SoC Apple Silicon de nouvelle génération fabriqué avec un procédé 3 nm de 3e génération, entièrement repensé pour les charges de travail IA
• En intégrant un Neural Accelerator dans chacun des 10 cœurs GPU, elle atteint des performances de calcul IA 4 fois supérieures à la M4 et 6 fois supérieures à la M1
• Son CPU 10 cœurs, composé de 4 cœurs de performance et 6 cœurs d’efficacité, offre des performances multithread 15 % plus rapides que la M4
• Le Neural Engine 16 cœurs, le moteur multimédia amélioré et la bande passante mémoire de 153 Go/s renforcent l’efficacité de l’ensemble du système

Une avancée majeure pour les performances IA et graphiques

• L’architecture GPU de nouvelle génération de la M5 optimise tous les blocs de calcul pour l’IA, et le Neural Accelerator intégré au GPU traite directement les opérations d’IA
  • La vitesse d’exécution des applications d’IA on-device comme Draw Things et LM Studio augmente fortement
• La combinaison du moteur de ray tracing de 3e génération et du Dynamic Caching de 2e génération améliore les performances graphiques de 30 % par rapport à la M4 et de 2,5 fois par rapport à la M1
• Elle permet la prise en charge du 120 Hz et des transitions d’images fluides dans des jeux exigeants comme Cyberpunk 2077
• Les applications basées sur les frameworks officiels d’Apple (Core ML, Metal Performance Shaders, Metal 4) peuvent bénéficier immédiatement d’un gain de performances
• Les développeurs peuvent contrôler directement le Neural Accelerator du GPU via la Metal 4 Tensor API

Neural Engine et Apple Intelligence

• Le Neural Engine 16 cœurs coopère avec les Neural Accelerators du CPU et du GPU pour exécuter rapidement les calculs d’IA
• Sur Apple Vision Pro, des fonctions d’IA complexes comme la conversion 3D de photos et la génération de Persona fonctionnent encore plus vite
• La réactivité des modèles de langage basés sur Apple Intelligence et de l’outil Image Playground s’améliore, renforçant l’expérience d’IA on-device
• Les développeurs peuvent eux aussi constater un gain de performances lorsqu’ils utilisent les modèles Apple Intelligence grâce au Neural Engine amélioré de la M5

Architecture mémoire

• La bande passante mémoire unifiée de 153 Go/s représente une hausse de 30 % par rapport à la M4 et de plus de 2 fois par rapport à la M1
• Grâce à une structure de pool mémoire unique, le CPU, le GPU et le Neural Engine peuvent accéder à la même mémoire de grande capacité
• Avec une configuration de 32 Go de mémoire, il devient possible d’exécuter simultanément et de manière fluide de lourdes applications créatives comme Photoshop et Final Cut Pro, ainsi que de grands modèles d’IA
• Elle maximise les performances des grands modèles d’IA et du rendu graphique en temps réel

Efficacité énergétique et environnement

• La M5 améliore fortement les performances tout en conservant une efficacité énergétique parmi les meilleures du secteur
• Dans le cadre de l’initiative Apple 2030, Apple cherche à réduire les émissions de carbone sur l’ensemble de la chaîne, de la production aux matériaux, à l’électricité et au transport
• Les appareils équipés de la puce M5 respectent les normes d’efficacité énergétique et minimisent la consommation d’énergie sur l’ensemble de leur cycle de vie

Signification globale

• La puce M5 symbolise le fait que l’évolution d’Apple Silicon entre pleinement dans l’ère du computing centré sur l’IA
• Grâce à la conception intégrée du GPU et du Neural Engine, les performances de l’IA on-device évoluent dans le sens d’une moindre dépendance au cloud et d’une plus grande autonomie de calcul des appareils personnels
• Apple redéfinit ainsi les MacBook Pro, iPad Pro et Vision Pro comme des plateformes créatives IA de nouvelle génération

[tsboard]

On dirait les efforts désespérés d’Apple, élève en retard sur l’IA, mais malgré tout, c’est quand même assez prometteur haha

[GN⁺]

Avis Hacker News

• Présentation sous forme de tableau

  Chip	Process	CPU Cores	GPU	Neural Engine	Bande passante mémoire	Mémoire unifiée	Geekbench single/multi
  M1	5 nm G1	8: 4P+4E	7–8	16-core	68.25 GB/s	16 GB	2346 / 8346
  M2	5 nm G2	8: 4P+4E	8–10	16-core	100 GB/s	24 GB	2586 / 9672
  M3	3 nm G1	8: 4P+4E	8–10	16-core	100 GB/s	24 GB	2965 / 11565
  M4	3 nm G2	10: 4P+6E	8–10	16-core	120 GB/s	32 GB	3822 / 15031
  M5	3 nm G3	10: 4P+6E	10	16-core	153 GB/s	≤32 GB	4133 / 15437 (9 core)

• Il est intéressant de voir la mémoire unifiée passer de 32 Go à 24 Go. J’imagine qu’Apple a peut-être jugé que la puce M4 autorisait trop de mémoire sur le modèle standard, et a voulu accentuer la différenciation avec les puces Pro/Max. Mais comme le dernier Macbook Pro prend aussi en charge une option 32 Go, je me dis que le M5 24 Go dans le tableau est peut-être simplement une coquille
• Mon M3 Max va bientôt sembler dépassé, mais un passage à un M6 ou M7 Max aurait vraiment de l’allure
• Je me demande si le process 2nm de TSMC a été repoussé à l’an prochain, ou si c’était prévu pour 2026 dès le départ
• Le score Geekbench multicœur du M5 correspond à la version 9 cœurs. Aucun score pour la version 10 cœurs n’a encore été publié
• Le MacBook Pro M5 utilise toujours une puce WiFi Broadcom, mais l’iPad Pro M5 embarque les puces N1 et C1X, ce qui donne envie d’y croire.
  J’ai l’impression qu’Apple fait des choses incroyablement impressionnantes côté matériel.
  L’équipe logicielle, en revanche, devrait vraiment se ressaisir. Le M1 est déjà si puissant que, pour la plupart des utilisateurs, une mise à niveau n’est pas nécessaire.
  Mais le nouvel OS (Tahoe) ralentit soudainement mon M1 Air, même pour des tâches que je fais exactement de la même manière depuis des années.
  Si c’est un ralentissement intentionnel, ce serait vraiment décevant
  • Depuis la mise à jour Tahoe, mon portable de travail M2 Pro 32 Go est devenu aussi poussif que le vieux PC lent de chez moi.
    Même le pointeur de la souris donne l’impression de se téléporter. Désactiver la transparence dans les réglages d’accessibilité n’a rien réglé, et ça a même empiré les choses
  • Côté logiciel, il y a vraiment beaucoup de choses chez Apple qui me rendent fou en ce moment.
    • J’utilise mon iPhone comme télécommande Apple TV, et l’interface manque de cohérence, par exemple quand le contrôle du volume cesse soudainement de fonctionner
    • Le mode d’authentification qui force Face ID est pénible. Au ski, Face ID ne marche évidemment pas, mais on ne peut pas saisir directement le mot de passe
    • Sur Apple TV, même pour le contrôle parental, il faut passer par l’écran de sélection du PIN. Ce serait plus pratique d’ouvrir directement le champ de saisie du PIN
    • Même quand on utilise l’iPhone comme télécommande, j’aimerais que l’étape d’approbation parentale se lance automatiquement
  • L’équipe hardware d’Apple accomplit des miracles, mais le logiciel censé faire tourner tout ça est en dessous des attentes. On dirait vraiment deux entreprises totalement différentes qui avancent séparément
  • Il est encore difficile de dire si la puce WiFi du MacBook Pro M5 et les N1, C1X de l’iPad Pro sont réellement bons. J’ai souvent eu des expériences décevantes avec les modems cellulaires d’Apple.
    Dire que le M1 est puissant me semble exagéré. Les performances par watt sont excellentes, mais en volume de calcul brut, un Ryzen 9 7945HX traite environ 3 fois plus de travail qu’un M1 Max, et un Intel Core Ultra 7 265k environ 3,5 fois plus
  • Si Apple séparait complètement ses organisations hardware et software, standardisait davantage le matériel et faisait de macOS/iOS une option parmi beaucoup d’autres, ce serait extrêmement prometteur. Ce n’est pas réaliste, mais on peut rêver
• Le matériel Apple est impressionnant sur le papier, mais je n’ai pas envie d’acheter un Mac sur lequel je ne peux pas faire tourner Linux directement. Je n’aime pas l’écosystème contrôlé d’Apple.
  Le problème ARM contre x86 existe aussi. Même si des distributions compatibles sortent, sur desktop on veut pouvoir faire tourner tout un ensemble de logiciels et de jeux, et ARM a encore beaucoup de limites. Sur portable, c’est devenu un choix plus rationnel, mais un vrai desktop ARM libre et réellement exploitable me semble encore loin
  • En réalité, Linux tourne plutôt bien sur Mac. Tu as déjà essayé Parallels ou VMware Fusion ? Parallels, en particulier, gère bien l’accélération 2D/3D/vidéo, la suspension et l’intégration avec l’OS hôte.
    Si ce n’est pas ton style, la nouvelle fonction de conteneurs natifs de Tahoe permet aussi de lancer directement des conteneurs depuis dockerhub, entre autres.
    Et pour qualifier l’écosystème macOS de « jardin clos », on peut quand même installer librement des apps et utiliser avec homebrew presque tous les logiciels open source ou non
  • Je continue à chercher un portable ARM sur lequel Linux tourne bien. Je garde aussi un œil sur Lenovo, mais le support Linux reste encore insuffisant
  • Pour obtenir un service officiel chez Apple, on a plutôt l’impression de subir de l’upsell forcé. Ils demandent parfois 1500 $ rien que pour remplacer un clavier. Apple reste aussi peu volontaire sur le recyclage et l’abandon des anciens modèles. Et cela reste malgré tout un environnement fermé, avec des choix limités sur ce que je peux faire avec mon propre appareil
  • Les Mac M1 et M2 fonctionnent assez bien sous Asahi Linux (les M3, M4 et M5 ne sont pas encore pris en charge)
  • J’ai l’impression qu’à ce stade, la vitesse pure en informatique n’a plus tant d’importance. Tant que la loi de Wirth ne s’applique pas trop violemment, ça va
• Comme d’habitude, on ne voit toujours pas d’informations concrètes sur les améliorations du Neural Engine.
  Presque toutes les informations sur l’Apple Neural Engine (ANE) proviennent de la documentation officielle d’Apple ou du reverse engineering (repo Github), et j’imagine que cette fois encore il y a eu quelques améliorations pour mieux gérer les performances des transformers.
  Les publications d’Apple sur les transformers sont aussi assez intéressantes :
  • transformers on the Neural Engine
  • vision transformers
    Côté logiciel, MLX a déjà beaucoup amélioré les choses, mais il y a encore de la marge. Il faudra voir jusqu’où le M5 Max progressera
    Quelles que soient les améliorations, elles ne s’appliqueront pas aux générations précédentes, et le plus frustrant reste qu’Apple continue à proposer seulement 8 Go de mémoire unifiée
  • Comme vous le dites, récemment (depuis un ou deux ans), tous les modèles de base de Mac commencent à 16 Go. C’est aussi le cas du MacBook Air
  • Il peut y avoir un vrai besoin de performances de calcul plus élevées, notamment pour les vision language models à grand contexte. Si je comprends bien, l’ANE existant était surtout optimisé pour les opérations de convolution et l’efficacité de calcul, tandis que les nouveaux accélérateurs neuronaux évoluent vers plus de flexibilité et de performance
  • À ma connaissance, MLX n’utilise toujours pas le Neural Engine. J’aimerais presque qu’Apple abandonne le Neural Engine et se concentre sur les unités metal/tensor du GPU
  • J’imagine qu’ils ont cette fois ajouté, comme NVIDIA, un systolic array à l’intérieur des cœurs GPU. Ça me semble être la seule façon d’obtenir un MLX 4 fois plus rapide que sur M4
  • La mémoire unifiée restera toujours plus limitée que la VRAM. Je trouve déjà mes 16 Go de VRAM insuffisants. En plus, Apple rend le stockage tellement cher que, même si je veux faire de la vraie IA locale pour analyser librement mon calendrier, mes mails, mes photos ou mes notes, je suis limité à des options de stockage entre 256 Go et 1 To
• Sur Apple Silicon, il existe plusieurs unités matérielles capables de faire des multiplications de matrices (matrix multiplies)
  1. CPU SIMD/NEON
  2. Coprocesseur CPU AMX (M1~M3)
  3. CPU SME (M4)
  4. GPU (shader de calcul Metal + simdgroup-matrix + mps matrix)
  5. Neural Engine (CoreML advisory)
     Et il semble que le M5 ajoute un « Neural Accelerator » à chaque cœur
  • C’est plutôt rationnel justement, puisque chaque unité agit sur des points différents de la hiérarchie mémoire. Même du point de vue du programmeur, c’est positif, car cela permet un contrôle fin de la latence et du débit
  • Heureusement que des bibliothèques comme Pytorch abstraient bien cette complexité. Si l’on devait tout construire soi-même dès le départ, ce serait bien plus compliqué
  • Je me demande si les logiciels Apple, comme Final Cut, exploitent en même temps ces unités de multiplication de matrices « redondantes » pour maximiser les performances. Vu la nature multitâche, l’OS répartit déjà différentes ressources entre plusieurs logiciels, mais ce serait amusant de pousser aussi loin l’utilisation simultanée
  • Je ne sais pas si c’est une architecture si étrange que ça. Des opérations comme le matmul sont désormais des primitives utilisées partout. Même le Mac Quadra de 1994 avait de nombreuses unités en virgule flottante, alors que le Mac de 1984 n’en avait pas
  • Je me demande s’il serait possible d’utiliser toutes les unités de multiplication de matrices en même temps. Ce ne serait pas forcément pratique, mais juste pour le plaisir d’essayer. Si le CPU a lui aussi une architecture superscalaire, il doit être possible d’exécuter certaines opérations en parallèle
• La puce de l’iPad Pro est binning selon la capacité de stockage
  • 512 Go ou moins : 3 P-cores + 6 E-cores
  • 1 To ou plus : 4 P-cores + 6 E-cores
    Source
  • Faire varier les performances selon le palier de stockage, alors qu’Apple facture déjà très cher le stockage, c’est vraiment du marketing détestable
• Ces derniers temps, j’ai l’impression que l’équipe hardware d’Apple fait bien mieux que l’équipe software
  • Ce n’est pas une première dans l’histoire d’Apple. Lors du passage du 68k au PowerPC, les performances hardware ont fait un bond énorme, mais le logiciel n’a pas suivi. Le système central tournait quasiment jusqu’à OS 9 en émulation, et la mémoire protégée comme le multitâche préemptif restaient très insuffisants. Les projets Taligent et Copland ont échoué, puis il a fallu passer par le rachat de NeXT avant la sortie de Mac OS X. Jusqu’alors, c’était le logiciel qui différenciait le Mac, mais même ça a décliné après la transition vers Intel, avant que le hardware ne reprenne l’avantage avec l’arrivée des Mac M1
  • Le logiciel a tendance à s’étendre, à accumuler des fonctions inutiles et des applications laissées à l’abandon. Le hardware, lui, reste limité par les coûts de fabrication, donc son périmètre est plus contraint. Apple a maintenant besoin de quelqu’un qui taille franchement dans le périmètre logiciel inutile et dans certains produits
  • J’ai l’impression que la plupart des logiciels, hors datacenter/cloud, deviennent de plus en plus mauvais. Des gens habitués à cet état de fait deviennent décisionnaires, donc je pense que cela va encore empirer
  • En vrai, ce n’est pas spécifique à aujourd’hui : la qualité des logiciels Apple a toujours été discutable. Même l’ancien iTunes écrivait les modifications de tags fichier par fichier à une lenteur exaspérante. Le design visuel et les guides de design étaient excellents, mais au-delà de ça, je n’ai jamais vraiment trouvé les logiciels d’Apple remarquables
  • Apple est fondamentalement une entreprise hardware. Là où Apple fournit gratuitement ses OS grand public, Microsoft s’est longtemps concentré sur la vente de systèmes d’exploitation. Maintenant qu’Apple conçoit aussi ses propres packages SoC, cette force matérielle se voit encore mieux
• C’est la première fois que je vois Apple utiliser directement le terme « AI » dans son marketing. Avant, ils parlaient seulement de « machine learning » ou d’« Apple Intelligence »
  • Au final, Apple a lui aussi cédé au hype. C’était un peu le dernier sursaut d’orgueil d’Apple de s’en tenir au terme « machine learning », donc c’est dommage
  • Bien sûr, si Apple introduit de l’IA généraliste comme des modèles de diffusion ou des LLM, ça ne me choque pas qu’ils parlent d’AI. Mais j’aurais quand même aimé qu’au moins, dans leur communication, ils mentionnent aussi Apple Intelligence
  • Tout n’est peut-être pas perdu. AI peut aussi vouloir dire Apple Intelligence, si on fait preuve d’un peu d’imagination
  • J’ai envie de croire que l’AI mise en avant par Apple désigne en réalité Apple Intelligence
• Lors de l’annonce du M5, Apple dit que les calculs GPU pour l’IA sont 4 fois plus rapides que sur le M4, mais c’est probablement mesuré en labo. En pratique, pour le M5 de l’iPad comme du MacBook Pro, Apple affirme aussi des « performances IA 3,5 fois plus rapides », alors que dans les démos réelles, on ne voit que des gains de 1,2 à 2,3 fois par rapport au M4. Je me demande bien avec quel test ils arrivent à 3,5x
  • Le M5 ajouterait la prise en charge du calcul FP4. Donc, sur des modèles quantifiés Q4 (avec une précision bien plus faible que le BF16), l’écart de vitesse peut être important
  • Ce genre de chiffres gonflés se comprend aussi, car Apple comme ses concurrents comparent souvent à des puces vieilles de deux générations
• Je me demande si cette puce M5 intègre aussi « Memory Integrity Enforcement » (fonction de sécurité introduite sur l’A19/A19 Pro)
  • Comme elle utilise les mêmes cœurs CPU, il y a de fortes chances que ce soit pris en charge

[xguru]

Le fait qu’ils mettent autant l’accent sur l’IA dans le communiqué donne aussi l’impression qu’Apple est un peu dans l’urgence.
Le fait d’avoir intégré au GPU et à l’accélérateur neuronal de quoi booster la vitesse des calculs d’IA est effectivement assez révolutionnaire, donc les performances on-device devraient énormément progresser. Maintenant, l’enjeu sera surtout de voir à quel point le modèle qu’ils mettront dessus sera bon, haha.