Le budget du Projet Manhattan et du programme Apollo était, en monnaie actuelle, étonnamment « bon marché ». Le budget utilisé pour le programme Apollo de l’alunissage (années 1960) était à peu près au même niveau que le rachat d’actions (buyback) récent d’Apple.
Le Projet Manhattan et le programme Apollo ont tous deux utilisé 0,4 % du PIB de leur époque. Avec un PIB actuel de 27 000 milliards de dollars, cela représente 108 Md$, et Meta n’a pas encore dépensé un tiers de cette somme en GPU.
La complexité écrasante des GPU, CPU et SoC modernes ne nous domine pas vraiment. Comparée à la fabrication d’une puce 3 nm à 3 milliards de transistors, le Projet Manhattan, bien qu’il ait été révolutionnaire, n’était pas immense en termes d’échelle.
Je me demande pourquoi Meta, malgré un tel investissement, n’arrive pas à rattraper OpenAI. Comment OpenAI parvient-elle à obtenir de telles performances ?
Je suis toujours impressionné par la qualité et le niveau des œuvres produites avant les années 1960. Je ne sais pas quelle est la raison fondamentale pour laquelle, depuis, notre société serait devenue gaspilleuse, lente, chère et peu ambitieuse, mais j’aimerais qu’on puisse revenir en arrière.
Je me demande à quel point Meta utilise ces GPU dans ses opérations internes et s’il existe des données publiées sur les économies de coûts qui en découlent. En plus du chatbot « Meta AI » — que je trouve décevant — il existe sûrement beaucoup de cas d’usage pertinents pour H100 : moteurs de recommandation de contenu, prévention des abus, optimisation de la bande passante réseau, etc.
Le Projet Manhattan a probablement eu un meilleur retour sur investissement.
Cela tient en grande partie à la valeur d’un walled garden et de la propriété intellectuelle. Si la loi changeait au point de ne plus protéger l’IP et les données, il y aurait sans doute énormément de gens à produire des copies modifiées de Facebook dès l’année prochaine. Il en irait de même pour ceux qui récupèrent et adaptent les designs de GPU NVIDIA. La concurrence rapprocherait alors prix et marges de zéro.
Je me demande quel est le risque que, d’ici 10 ans et grâce à la loi de Moore, on puisse obtenir aujourd’hui une performance équivalente avec seulement 1 million de dollars de GPU. Avec cette somme, on pourrait probablement acquérir un fabricant de GPU.
Ce n’est pas aussi impressionnant que ce qu’on pourrait croire, car le PIB réel des États-Unis (ajusté de l’inflation) est aujourd’hui presque 9 fois plus élevé qu’en 1945.
1 commentaires
Commentaires Hacker News