- OpenAI développe une puce d’inférence IA et abandonne son projet de réseau de fonderies
- Broadcom aide OpenAI à concevoir sa puce et à permettre sa fabrication chez TSMC
- OpenAI diversifie son approvisionnement en puces en ajoutant les puces IA d’AMD
Les efforts de conception interne de puces d’OpenAI et le recours à des partenariats industriels
- OpenAI examine diverses options pour diversifier son approvisionnement en puces et réduire ses coûts
- L’entreprise prévoit de suspendre pour le moment son ambitieux projet de fonderie et de se concentrer sur ses efforts de conception interne de puces
- La stratégie d’OpenAI montre, comme chez de grands concurrents tels qu’Amazon, Meta, Google et Microsoft, comment sécuriser l’approvisionnement en puces et maîtriser les coûts en s’appuyant sur des partenariats industriels ainsi que sur une approche combinant ressources internes et externes
- OpenAI fait partie des plus gros acheteurs de puces, et sa décision de développer des puces sur mesure tout en s’approvisionnant auprès de plusieurs fabricants pourrait avoir un impact large sur le secteur technologique
- Broadcom aide des entreprises comme Google à affiner la conception de leurs puces pour la fabrication et fournit des composants de conception qui permettent de faire circuler rapidement l’information dans les puces
- OpenAI a sécurisé, via Broadcom, des capacités de fabrication chez TSMC pour produire en 2026 sa première puce conçue sur mesure
- À l’heure actuelle, les GPU de Nvidia détiennent plus de 80 % de part de marché
- Mais les pénuries d’approvisionnement et la hausse des coûts poussent de grands clients comme Microsoft, Meta et désormais OpenAI à chercher des alternatives internes ou externes
- La décision d’OpenAI d’utiliser des puces AMD via Azure de Microsoft montre que la nouvelle puce MI300X d’AMD tente de prendre une part du marché dominé par Nvidia
- L’entraînement des modèles d’IA et l’exploitation de services comme ChatGPT coûtent cher
- OpenAI prévoit cette année 5 milliards de dollars de pertes pour 3,7 milliards de dollars de chiffre d’affaires
- Les coûts de calcul constituent la plus grosse dépense de l’entreprise, ce qui alimente ses efforts pour optimiser l’utilisation des ressources et diversifier ses fournisseurs
L’avis de GN⁺
- Les efforts de conception interne de puces d’OpenAI et sa collaboration avec divers fabricants de puces représentent un changement important dans l’industrie de l’IA. Cela pourrait faire émerger de nouvelles alternatives capables de contester la domination de Nvidia et d’accélérer le développement des technologies d’IA
- Des inquiétudes peuvent toutefois être soulevées concernant la structure de coûts d’OpenAI. Dans un contexte où le développement des modèles d’IA et l’exploitation des services entraînent des coûts massifs, des questions subsistent quant à la rentabilité et à la pérennité à long terme
- Par ailleurs, l’arrivée de nouvelles puces IA comme la MI300X d’AMD stimulera la concurrence sur le marché et offrira davantage de choix aux clients. Cela pourrait contribuer à la démocratisation et à la commercialisation des technologies d’IA
- L’intensification de la concurrence sur le marché des puces IA devrait accélérer l’innovation technologique et accroître la demande pour des puces hautes performances à faible consommation. En conséquence, les investissements dans la conception et la fabrication de puces, ainsi que la concurrence pour attirer les talents, devraient encore se durcir
- Lorsque les entreprises adoptent des puces IA, elles doivent prendre en compte de manière globale divers facteurs tels que les performances, les coûts, la compatibilité et la scalabilité. Il est essentiel de choisir la puce la plus adaptée à la feuille de route technologique et à la stratégie business de long terme
1 commentaires
Commentaires sur Hacker News
Du point de vue d’un ancien employé de Google, ce n’est pas du tout surprenant. Je reste en contact avec des amis qui sont encore chez Google, et au cours des derniers mois, le nombre d’ingénieurs hardware issus de Google recrutés par OpenAI a fortement augmenté
Il suffit de regarder les profils des ingénieurs hardware d’OpenAI sur LinkedIn pour voir facilement à quel point ils viennent nombreux de Google. L’équipe TPU de Google n’est plus que l’ombre d’elle-même, donc il ne serait pas surprenant que les futurs TPU de Google finissent par être inférieurs à la nouvelle puce d’OpenAI
Le travail passé de Google sur les TPU dépendait aussi de l’aide de Broadcom : https://www.theregister.com/AMP/2023/09/22/google_broadcom_t...
Puisque Broadcom a bien accompagné Google sur les TPU, il est tout à fait naturel que d’anciens employés de Google emportent avec eux cette relation fournisseur dans leur nouvelle entreprise
BRCM est, avec Marvell entre autres, un leader des SerDes, et les IP de Synopsys et Cadence sont aussi largement utilisées par ce genre de sociétés de puces. Aucune entreprise ne va intégrer verticalement la totalité de ses IP, donc il n’y a pas de raison d’en faire tout un plat
Ce n’est pas aussi simple que d’enfermer des doctorants dans une pièce et de leur faire sortir un LLM. Le développement hardware est difficile, lent, demande de longues phases de validation et coûte extrêmement cher
Jensen dit depuis longtemps que la demande est « folle », et on entend aussi des rumeurs de faibles rendements. Cela pourrait conduire à des problèmes d’approvisionnement pendant les prochains mois, voire les prochaines années
Aucune entreprise du Fortune 500 ne va miser tout son hardware et son software IA sur une seule source d’approvisionnement. Sortir du fournisseur unique et diversifier, c’est un choix intelligent
Nous utilisons Trainium parce qu’on ne peut pas obtenir de Nvidia
Même l’accord OpenAI/Oracle impose qu’Oracle fasse tourner la stack Azure dans ses propres datacenters, ce qui permet à MSFT d’arbitrer la relation. Les puces AMD mentionnées dans l’article sont aussi achetées par MSFT
Je me demande si cela signifie qu’OpenAI assume les risques et les dépenses d’investissement pour fournir à Microsoft un hardware plus diversifié, ou s’il y a d’autres conditions
Dire qu’OpenAI a envisagé de lever des capitaux pour tout construire elle-même et bâtir un réseau de fonderies pour fabriquer ses puces minimise énormément à quel point les ambitions de Sam étaient absurdes
Il a lancé l’idée de réussir d’une manière ou d’une autre à lever 7 000 milliards de dollars pour construire 36 fabs dédiées au silicium IA, et il paraît que les dirigeants de TSMC ont pratiquement ri en l’entendant le dire, en face de lui
L’investissement intérieur net total des États-Unis est inférieur à 1 000 milliards de dollars : https://fred.stlouisfed.org/series/W790RC1Q027SBEA
La formation brute de capital fixe, c’est-à-dire l’investissement net plus l’amortissement, n’est pas tellement plus élevée : https://fred.stlouisfed.org/series/NFIRSAXDCUSQ
Même Google, Apple et Microsoft réunis dépensent moins de 100 milliards de dollars par an en investissements d’équipement. Pourtant, leur capitalisation boursière cumulée approche les 10 000 milliards de dollars
Qu’une entreprise valant 100 milliards de dollars demande 7 000 milliards est d’une absurdité difficile à croire
Après l’analyse financière convaincante de « The Subprime AI Crisis », il n’y a guère plus à ajouter qu’une réplique du film « Dodgeball »
« C’est une stratégie audacieuse, Cotton. Voyons si ça paie. »
0 - https://www.wheresyoured.at/subprimeai/
1 - https://www.imdb.com/title/tt0364725/quotes/
Avant, le modèle gratuit donnait aussi parfois des réponses plus exactes sur mon benchmark, selon les jours. J’ai donc l’impression qu’ils ont creusé l’écart entre les deux pour rendre o1 plus utile en apparence
OpenAI fait ce qu’il veut de ses produits, mais de mon point de vue ils ont nerfé le produit gratuit pour mettre o1 relativement plus en valeur
Combien de temps faudra-t-il pour mettre cette nouvelle puce en production et l’utiliser pour l’entraînement ou l’inférence ?
En y injectant plus d’argent, ça peut peut-être aller plus vite, mais on peut aussi tout gâcher et rallonger encore les délais
Si c’est bien exécuté, cela pourrait encore creuser l’écart avec les autres fournisseurs de LLM
On dirait qu’ils construisent leur propre datacenter pour utiliser cette puce, mais c’est étrange que l’article ne le dise pas explicitement
Existe-t-il seulement une puce occidentale d’IA / de multiplication matricielle qui ne soit pas fabriquée par TSMC ? Amazon ou Meta font peut-être autrement ? NVIDIA, AMD, Google TPU utilisent aussi TSMC, avec Broadcom comme partenaire de conception, et maintenant OpenAI aussi
Je me demande si Samsung n’est tout simplement pas compétitif. Je me demande aussi si la limite sur les volumes de puces ou de chipsets vient de la capacité de production de TSMC, ou plutôt de la mémoire ou du packaging
OpenAI semble avoir compris qu’en dehors de sa notoriété de marque, son moat est pratiquement inexistant, et avoir voulu en créer un via une fab et la conception de puces
Si une fab et des puces exclusives avaient été magiquement supérieures et permettaient de produire à bas coût sans payer la taxe à l’équipe verte, l’avantage sur les coûts d’inférence aurait été énorme
Ils se sont peut-être dit que commencer simplement par une puce exclusive suffirait déjà
J’ai toujours l’impression qu’en IA, on gaspille des transistors. On utilise des états binaires pour éliminer l’entropie du système, mais l’IA tolère bien plus d’entropie
Pour cet usage, il devrait y avoir des approches bien meilleures que les portes NAND
Cela réduit les coûts non récurrents d’ingénierie et accélère le développement. Si on abandonne cela, on risque aussi d’abandonner l’ensemble de l’outillage qui rend l’efficacité actuelle possible
Des choses comme GH Copilot sont impressionnantes, mais en dehors de ça, je n’ai pas encore vu de véritable impact social ou culturel des LLM. Je ne parle pas des posts surchauffés sur les réseaux sociaux où des influenceurs montrent des démos tape-à-l’œil ou des lancements de modèles
Je ne vois pas ce phénomène imprégner la société dans son ensemble ; je me demande si c’est moi qui y suis imperméable, ou si cela reste caché dans les couches profondes des produits SaaS / enterprise
Il devrait y avoir un impact culturel productif largement diffusé, durable et avec une forte rétention, pas juste un « ah, c’est cool » comme pour la 3D TV ou la VR
Surtout quand on pense à tout l’argent parti en fumée dans les dissipateurs thermiques de GPU
Au-delà de l’éducation, toute une industrie du SEO s’est développée autour des LLM, et elle adore cette nouvelle capacité à produire du spam à grande échelle
Dans les entreprises et les administrations, on commence à les adopter prudemment pour gagner en productivité sur des tâches de communication où un peu d’hallucination ou un style corporate un peu robotique restent tolérables. La formulation finale reste de toute façon encore rédigée par un humain
Côté support client et ventes, on dépense de l’argent pour des versions « IA » des vieux arbres de menus téléphoniques, qui finissent quand même par vous faire crier « je veux parler à un agent » avant d’être mis en relation avec un humain
Ailleurs, l’adoption est plus lente. On attend des résultats déterministes, mais c’est difficile avec ce type de modèles. Quand on développe un logiciel qui interagit avec une API de LLM, la sortie peut dévier aléatoirement de la structure demandée, ce qui oblige à réintroduire des techniques de programmation défensive qu’on n’avait plus utilisées depuis plus de dix ans. Cela complique aussi l’usage des sorties structurées ou du function calling
En voyant un ami dans la compta et un autre dans le marketing s’en servir pour de l’analyse de base ou la rédaction de textes promotionnels, on comprend que même des non-développeurs l’utilisent déjà régulièrement
L’usage dans les métiers non techniques est important dans ce domaine. À l’inverse, pour prendre un contre-exemple de bulle, dans la crypto, les non-techniciens que je connais se contentaient d’en « détenir » via des plateformes d’échange sans jamais concrétiser les cas d’usage annoncés
o1-preview est particulièrement bon pour rédiger de petites mini-revues à vue large sur des questions qui m’intéressent
Cela fonctionne bien quand il existe déjà beaucoup de textes sur le sujet et qu’il faut simplement les recombiner en fonction de ma question
Le format conversationnel est bien plus efficace que de faire une recherche web ou de lire quelques articles Wikipédia connexes. C’est vraiment une question de verre à moitié plein ou à moitié vide. Je suis réellement impressionné et optimiste quant à l’utilité, tout en voyant bien que ce n’est clairement pas de l’AGI
J’ai vu des profils inattendus utiliser des LLM pour toutes sortes de choses. Dans bien des cas, ils ne veulent même pas dire à leur supérieur qu’ils utilisent cet outil, parce qu’il leur donne des super-pouvoirs
Je parle d’employés de banque, de responsables de magasin, d’élus locaux, de petits entrepreneurs. Avant, moi aussi j’aurais eu du mal à le croire, mais je vois de plus en plus de personnes improbables utiliser des LLM et même formuler correctement leurs prompts
Quand tous les utilisateurs d’Outlook auront des boutons de résumé, d’extraction et d’amélioration d’e-mails, des centaines de millions de personnes utiliseront un LLM chaque jour
Dépenser 7 000 milliards de dollars pour sa propre fab, c’était à la fois ambitieux et complètement fou. On dirait qu’au final la réalité s’est imposée. S’ils se sont réveillés de ce grand rêve, j’espère qu’ils maintiendront au moins le niveau de qualité