Comment AlphaChip a révolutionné la conception des puces informatiques

• En 2020, un preprint présentant une nouvelle méthode d’apprentissage par renforcement pour concevoir des layouts de puces a été publié
• Cette méthode a ensuite été publiée dans Nature et proposée en open source
• Aujourd’hui, nous publions un addendum dans Nature qui explique en détail cette méthode et son impact sur le domaine de la conception de puces
• Nous publions également des checkpoints préentraînés, partageons les poids du modèle et annonçons le nom AlphaChip
• Les puces informatiques ont alimenté les progrès remarquables de l’intelligence artificielle (IA), et AlphaChip utilise l’IA pour accélérer et optimiser la conception des puces
• Cette méthode a été utilisée pour concevoir des layouts de puces surhumains pour les trois générations les plus récentes du Tensor Processing Unit (TPU), l’accélérateur IA personnalisé de Google
• AlphaChip est l’une des premières approches d’apprentissage par renforcement à avoir été utilisée pour résoudre un problème d’ingénierie réel
• Au lieu de nécessiter des semaines ou des mois de travail humain, il génère en quelques heures des layouts de puces de niveau surhumain ou comparable, utilisés dans une grande variété de puces, des data centers du monde entier jusqu’aux téléphones mobiles

Comment fonctionne AlphaChip

• Concevoir le layout d’une puce n’est pas une tâche simple
• Les puces informatiques sont composées de nombreux blocs interconnectés, reliés à la fois par une hiérarchie de composants de circuit et par des fils très fins
• Elles sont également soumises à de nombreuses contraintes de conception complexes et imbriquées, qui doivent être satisfaites simultanément
• En raison de cette complexité, les concepteurs de puces peinent depuis plus de 60 ans à automatiser le processus de floorplanning des puces
• À l’image d’AlphaGo et d’AlphaZero, nous avons conçu AlphaChip pour qu’il aborde le floorplanning des puces comme une sorte de jeu
• En partant d’une grille vide, AlphaChip place un composant de circuit à la fois, puis répète ce processus jusqu’à ce que tous les composants aient été placés
• Il reçoit ensuite une récompense en fonction de la qualité du layout final
• Grâce à un nouveau réseau neuronal de graphes « fondé sur les arêtes », AlphaChip peut apprendre les relations entre les composants interconnectés d’une puce et généraliser à l’ensemble de la puce, ce qui lui permet de s’améliorer à chaque layout conçu

Concevoir les puces accélératrices IA de Google avec l’IA

• Depuis sa présentation en 2020, AlphaChip génère des layouts de puces surhumains utilisés dans toutes les générations de TPU de Google
• Ces puces rendent possibles de grands modèles d’IA fondés sur l’architecture Transformer de Google
• Les TPU sont au cœur de puissants systèmes d’IA générative, allant des grands modèles de langage comme Gemini aux générateurs d’images et de vidéos comme Imagen et Veo
• Ces accélérateurs IA sont également au cœur des services IA de Google et sont proposés aux utilisateurs externes via Google Cloud
• Pour concevoir les layouts de TPU, AlphaChip s’entraîne d’abord sur différents blocs de puces des générations précédentes, comme les blocs réseau on-chip et inter-puces, les contrôleurs mémoire et les buffers de transfert de données (on parle ici de préentraînement)
• AlphaChip est ensuite exécuté sur les blocs TPU actuels afin de générer des layouts de haute qualité
• Contrairement aux approches précédentes, AlphaChip devient meilleur et plus rapide à mesure qu’il résout davantage d’instances de placement sur puce, à l’image d’un expert humain
• Avec chaque nouvelle génération de TPU, y compris le tout dernier Trillium (6e génération), AlphaChip a conçu de meilleurs layouts de puces et pris en charge une plus grande partie du floorplan complet, accélérant ainsi le cycle de conception et produisant des puces plus performantes

L’impact étendu d’AlphaChip

• L’impact d’AlphaChip est visible à travers des applications chez Alphabet, dans la communauté de recherche et dans l’ensemble de l’industrie de la conception de puces
• Au-delà de la conception d’accélérateurs IA spécialisés comme les TPU, AlphaChip a généré des layouts pour d’autres puces au sein d’Alphabet, comme le processeur Axion, le premier CPU généraliste de data center d’Google basé sur Arm
• Des organisations externes adoptent également AlphaChip et s’appuient dessus (par exemple, MediaTek, l’une des plus grandes entreprises mondiales de conception de puces, a étendu AlphaChip afin d’améliorer la consommation énergétique, les performances et la surface des puces, tout en accélérant le développement de ses puces les plus avancées, comme Dimensity Flagship 5G utilisé dans les téléphones Samsung)
• AlphaChip a déclenché une explosion des travaux d’IA appliqués à la conception de puces, avec une extension vers d’autres étapes importantes comme la synthèse logique et la sélection de macros

Construire les puces du futur

• Nous pensons qu’AlphaChip a le potentiel d’optimiser toutes les étapes du cycle de conception des puces, de l’architecture informatique à la fabrication
• Il pourrait transformer la conception des puces pour le matériel personnalisé présent dans les appareils du quotidien, comme les smartphones, les équipements médicaux ou les capteurs agricoles
• De futures versions d’AlphaChip sont en cours de développement, et nous avons hâte de continuer à innover dans ce domaine et de collaborer avec la communauté pour bâtir un avenir où les puces seront plus rapides, moins coûteuses et plus sobres en énergie

L’avis de GN⁺

• L’approche fondée sur l’IA d’AlphaChip est en train de révolutionner le domaine de la conception de puces. Elle a notamment permis des avancées majeures dans l’automatisation du processus de conception des layouts
• AlphaChip est l’un des premiers exemples d’application de l’apprentissage par renforcement à un problème d’ingénierie réel, ce qui en fait une bonne démonstration de l’usage concret de l’IA dans le monde réel
• L’impact d’AlphaChip sur la conception des TPU constituera un jalon important dans l’évolution du matériel d’accélération de l’IA. De meilleurs accélérateurs IA permettront des modèles d’IA plus puissants, ce qui accélérera encore davantage les progrès de l’IA
• Toutefois, une dépendance excessive aux outils de conception fondés sur l’IA pourrait entraîner une perte d’expertise chez les concepteurs humains. À long terme, la collaboration entre l’IA et les experts humains sera probablement la solution la plus souhaitable
• Parmi les outils de conception similaires fondés sur l’IA, on peut citer Cerebrus de Cadence et DSO.ai de Synopsys. La concurrence entre les outils d’automatisation de la conception fondés sur l’IA devrait s’intensifier à l’avenir

[GN⁺]

Commentaire Hacker News

• L’article de Google dans Nature a été critiqué par des chercheurs du domaine EDA/CAD
  • Article de réponse de chercheurs internes à Google : "Stronger Baselines for Evaluating Deep Reinforcement Learning in Chip Placement"
  • Article de l’équipe de l’UCSD à l’ISPD 2023 : "Assessment of Reinforcement Learning for Macro Placement"
  • Article critique d’Igor Markov : "The False Dawn: Reevaluating Google's Reinforcement Learning for Chip Macro Placement"
• L’algorithme RL de Google pour le placement de macros n’a pas été comparé équitablement à d’autres algorithmes récents
  • Il affirme de meilleures performances que les humains pour le placement de macros, mais cela reste en deçà des performances des algorithmes actuels de placement mixte
  • La technique RL nécessite plus de ressources de calcul que d’autres algorithmes et n’apprend pas une nouvelle représentation du problème de placement lui-même, mais une fonction de substitution
• Scepticisme à l’égard du travail de Google, avec la rédaction d’un billet détaillé sur un site personnel
• Des chercheurs de Google ont été harcelés et ont ensuite rejoint Anthropic
  • Article associé : "Google Brain AI Researcher Fired Tension"
• TSMC met en avant la capacité des logiciels les plus récents d’automatisation de conception de puces à sélectionner une conception logique en fonction du TDP
  • Cela pourrait être une façon de préserver le Dennard scaling
  • La vitesse de la lumière et la proximité physique restent importantes, mais on peut se demander combien d’avantages il y aurait à éviter le thermal throttling
• Question sur la manière de mesurer la qualité de la conception de puces
  • On se demande si les métriques rapportées par Google sont valables, ou si elles servent simplement à les mettre en valeur
  • La « qualité » d’une conception de puce est multidimensionnelle et dépend fortement du cas d’usage
  • Une puce pour centre de données et une puce pour appareil photo de smartphone ou pour automobile auront des caractéristiques très différentes
  • On se demande ce que signifie « meilleur » dans ce problème/tâche précis
• Eurisco a autrefois été utilisé pour effectuer des tâches de placement et de routage, et il s’en sortait très bien
  • Eurisco a été utilisé pour concevoir des flottes de vaisseaux de combat pour le jeu Traveler TCS
  • Eurisco utilisait un placement fondé sur les symétries, appris dans la conception VLSI
  • On se demande si les heuristiques d’AlphaChip pourraient être utilisées ailleurs
• Le travail de Google sur la conception de puces est « controversé »
  • On se demande pourquoi faire uniquement de la RP sans rien faire de vraiment nouveau
• Problème du grand nombre d’articles DeepX soumis à Nature au lieu de forums CS appropriés
  • S’ils faisaient un meilleur travail en conception de puces, ils devraient le soumettre à l’ISPD, à l’ISCA, etc.
  • On ne sait pas comment Nature traite ce type d’articles
• On se demande pourquoi l’expression « surhumain » est utilisée en permanence
  • Des algorithmes sont utilisés pour ces tâches, et les humains ne placent pas à la main des billions de transistors
• Il serait souhaitable d’avoir des outils pour la conception/le layout de PCB
• On se demande à quel point le moment où le calcul en mémoire passera de la recherche à des produits compétitifs est proche
  • Il semble qu’on soit arrivé au moment d’investir très activement pour faire passer à grande échelle des expériences comme les memristors
  • On discute du nombre de nouveaux réacteurs qu’il faudra pour les centres de données IA