Je suis surpris que le Manhattan Project et l’Apollo Program paraissent aussi « bon marché » qu’ils le sont
C’est étrange de se dire que le coût pour envoyer des humains sur la Lune dans les années 1960 est du même ordre que le récent rachat d’actions d’Apple
C’est peut-être parce que l’inflation a été sous-estimée au cours des quelque 100 dernières années. Avec le temps, l’écart s’accumule fortement par effet composé
Une comparaison plus juste consiste à regarder à combien d’années de salaire d’un citoyen moyen cela correspond
Le Manhattan Project coûtait 2 milliards de dollars en 1944, soit 121 000 années-ménages sur la base du revenu médian des ménages du recensement de 1940
Le rachat d’actions d’Apple représentait 110 milliards de dollars en 2024, soit 122 910 années-ménages sur la base du recensement de 2022
Autrement dit, en 80 ans, les chiffres officiels de l’inflation auraient sous-estimé les coûts d’environ 3,5 fois
À l’époque, les États-Unis étaient bien plus pauvres et le niveau de vie y était nettement plus bas. Les salaires étaient donc beaucoup plus faibles, même corrigés de l’inflation, et comme le pays était en guerre, les conscrits devaient travailler pour de bas salaires sans avoir le choix. Cela explique une grande partie de l’écart
En réalité, ce n’était pas du tout bon marché : les coûts ont simplement été reportés dans le futur. La dépollution du site de Hanford est estimée entre 16,8 et 550 milliards de dollars
L’installation de Santa Susana, où les fusées Apollo ont été testées, devrait elle aussi coûter des milliards de dollars à dépolluer, avec d’autres facteurs de coût en plus
Sous pression, le rapport coût-efficacité est essentiel. Dans une société relativement riche et relâchée comme la nôtre, par rapport à la Seconde Guerre mondiale et aux années 1960 d’après-guerre, tous les coûts augmentent
À l’époque, on pouvait construire des routes, des chemins de fer et des navires ; aujourd’hui, il y a des centaines de règles, des lobbyistes et des parties prenantes qui réclament chacune leur part
Une fois la question de la survie temporairement réglée, les incitations financières deviennent beaucoup plus importantes
Le Manhattan Project et l’Apollo Program représentaient tous deux 0,4 % du PIB. Avec un PIB actuel de 27 000 milliards de dollars, 108 milliards de dollars correspondraient à la même proportion, et ce que Meta a dépensé en GPU n’en atteint même pas le tiers
Donc une seule entreprise aurait dépensé environ 0,1 % du PIB américain dans un projet de loisir où elle n’est même pas leader du marché ?
C’est une échelle difficile à croire, et ce n’est pas une bonne chose
Meta paie ces GPU sur plusieurs années, pas sur une seule. Les dépenses d’investissement annuelles de Meta tournent autour de 30 milliards de dollars, et tout n’est pas allé dans les GPU
Et il est peu probable que Meta paie le prix de détail
Dans ce cas, le rachat d’actions de 110 milliards de dollars d’Apple est encore plus important
Si l’on additionne les dépenses ou le chiffre d’affaires de toutes les entreprises, le total peut largement dépasser le PIB
La complexité écrasante des GPU, CPU et SoC modernes ne nous frappe peut-être pas autant qu’elle le devrait
Comparé au processus de production de puces 3 nm contenant des dizaines de milliards de transistors, il est difficile de considérer le Manhattan Project comme un projet gigantesque. Il a certes été révolutionnaire, mais face au développement de wafers EUV, il est difficile de le qualifier de « gigantesque »
Il vaut aussi la peine de mentionner une grande réussite moins connue du Manhattan Project. L’élément central n’était pas les scientifiques, mais Hanford et Oak Ridge
Hanford, ce n’était pas seulement des réacteurs : c’était aussi la création, littéralement au milieu de nulle part, d’une ville de plus de 43 000 habitants
À Oak Ridge se trouvait le K-25, alors le plus grand bâtiment du monde, qui ne sera dépassé que plus de 20 ans plus tard par la Boeing Everett Factory
Ces deux sites étaient aussi les principaux centres de coûts du projet. La science est bon marché, mais l’enrichissement de l’uranium et la production de plutonium — surtout quand personne ne l’a jamais fait — ne le sont pas
10 % relèvent d’une complexité écrasante, et 90 % de la marge bénéficiaire de Nvidia
Je suis chaque fois frappé par la qualité et le savoir-faire des objets produits grosso modo avant les années 1960.
Je ne sais pas ce qui, à cette époque, a fait basculer la société vers cette modernité si gaspilleuse, lente, coûteuse et peu ambitieuse, mais si je pouvais revenir en arrière, je le ferais.
À mon avis, c’est dû à la couche de management professionnel. Dans l’industrie manufacturière, entre autres, plusieurs grandes réformes ont été menées au nom d’une gestion « plus efficace », puis appliquées ensuite au travail intellectuel.
En particulier, dans le travail bureaucratique de bureau, la spécialisation a diminué. Aujourd’hui, tout le monde, y compris les médecins, finit par jouer lui-même le rôle de son propre assistant.
D’après les anecdotes de personnes qui ont vécu cette transition, l’une des choses que cette nouvelle culture managériale a abîmées, c’est le management lui-même, surtout aux niveaux inférieur et intermédiaire.
Auparavant, le temps qu’un manager passait en réunion avec ses pairs ou ses supérieurs variait progressivement selon le niveau hiérarchique ; les managers de premier niveau avaient peu de ce type de réunions et se concentraient sur les besoins de leurs subordonnés et le maintien des opérations.
Après le changement, tous les échelons du management ont été aspirés dans une culture de réunions, réunions et encore réunions, dont la plupart avaient peu de valeur. La mise en scène et les jeux politiques ont aussi pénétré beaucoup plus profondément qu’avant jusque dans le bas de l’organisation.
On dit que 400 000 personnes étaient derrière Apollo 11. Si près d’un demi-million de personnes consacraient leur vie à fabriquer une seule chose, il me semble qu’on pourrait encore aujourd’hui produire quelque chose de grande qualité et bien conçu.
Nvidia : 26 000 personnes
TSMC : 73 000 personnes
Intel : 124 000 personnes
AMD : 25 000 personnes
Qualcomm : 50 000 personnes
ASML : 42 000 personnes
En ordre de grandeur, l’ensemble de l’industrie mondiale des semi-conducteurs pourrait être à un niveau comparable.
Ce n’est pas seulement une question de qualité du résultat et de savoir-faire. Les salaires des travailleurs n’ont pas augmenté, alors que la productivité a progressé ; les riches sont devenus plus riches, et les 90 % de revenus les plus faibles n’ont pas pu voir leur situation s’améliorer.
Le fait que tant d’indicateurs se soient dégradés de manière continue depuis 1971 est assez fou[1].
[1] https://wtfhappenedin1971.com/
Après-guerre, il y avait un excédent de machines-outils et une grande expérience des procédés de fabrication métallique.
Les thermoplastiques moulables par injection, adaptés à des usages bien plus larges que les jouets, manquaient.
Des coûts de main-d’œuvre relativement élevés ont peut-être réduit l’incitation à économiser sur les matériaux.
Les consommateurs acceptaient de payer plus cher les produits manufacturés, mais s’attendaient en échange à ce qu’ils soient réparables et durables.
Les appareils électroniques à tubes à vide nécessitaient souvent des tensions élevées et de lourds transformateurs ou batteries, ce qui imposait des boîtiers en métal ou en bois et des usages non portables. Par exemple, les radios grand public étaient souvent intégrées au mobilier.
J’ai bien mes hypothèses, mais il vaut sans doute mieux les garder pour moi et faire de mon mieux sur mes propres projets.
I had no idea of the power of large companies. Only recently I learned that in constant dollars the development of the IBM 360 has been more expensive than the Manhattan Project.
Le passage qui suit immédiatement est intéressant aussi :
I was beginning to see American publications in the first issue of Communications of the ACM. I was shocked by the clumsy, immature way in which they talked about computing. There was a very heavy use of anthropomorphic terminology, the "electronic brain" or "machines that think." That is absolutely killing. The use of anthropomorphic terminology forces you linguistically to adopt an operational view. And it makes it practically impossible to argue about programs independently of their being executed.
Si l’on vérifie le fond, https://thehistoryofcomputing.net/the-ibm-system360 indique qu’« IBM a dépensé 5 milliards de dollars en monnaie du milieu des années 1960 », tandis que le Manhattan Project aurait coûté 2 milliards de dollars.
Selon https://en.wikipedia.org/wiki/Manhattan_Project, il s’agit de dollars de 1945, ce qui correspond à environ 3,5 milliards de dollars de 1965 d’après le calculateur d’inflation CPI de https://www.bls.gov/data/inflation_calculator.htm.
En faisant le calcul inverse, ces 30 milliards de dollars dépensés pour l’entraînement sur GPU ne représentent que 3 milliards de dollars de 1965, ce qui les rend moins chers que le 360.
Même après avoir dépensé autant, comment se fait-il qu’ils n’aient toujours pas rattrapé OpenAI ? Pourquoi OpenAI est-il si performant ?
Je ne suis pas spécialiste du machine learning, mais dire qu’ils « n’y arrivent pas » me paraît un peu fort. En regardant les podcasts auxquels Mark Zuckerberg a participé, on peut comprendre que Meta ne cherche pas à affronter OpenAI frontalement.
Rien qu’avec ses services d’IA existants, comme les recommandations, l’entreprise consomme déjà énormément de ressources. La publicité est, aujourd’hui comme demain, sa source de cash, tandis que les grands modèles de langage ne génèrent pas encore de gros revenus.
Le chiffre d’affaires d’OpenAI en 2023 était d’environ 2 milliards de dollars et augmentera fortement en 2024, mais Meta a dégagé 40 milliards de dollars de bénéfice net en 2023. Financièrement, il n’y a pas encore de raison de rivaliser.
Llama 400B est encore en cours d’entraînement et pourrait surpasser de nombreux cas d’usage de GPT-4.
Je me demande si vous avez essayé meta.ai, qui est proposé gratuitement. En termes de capacités, c’est déjà assez compétitif ; c’est juste que Meta n’y accorde pas encore beaucoup d’attention, ou ne le met pas beaucoup en avant.
Il n’est pas improbable que Llama 3 405B, encore en cours d’entraînement, dépasse le meilleur modèle actuel d’OpenAI.
En anglais, Llama 3 70B bat déjà tous les modèles de Google et d’Anthropic, et n’est devancé que par la dernière version de GPT-4. C’est d’après les résultats d’Open LLM Arena.
LLAMA 3 est très bon, et leurs travaux côté vision, comme segment anything, sont aussi à l’état de l’art. Facebook dispose déjà de canaux de monétisation solides, donc il n’a pas vraiment besoin de publier des articles ou de faire des démos.
Sait-on dans quelle mesure Meta utilise ces GPU pour ses opérations internes, et quelles économies ils en tirent ?
Au-delà de la décevante boîte de chat « meta ai », il doit y avoir énormément de domaines où déployer des H100 : du moteur de recommandation de contenus à la lutte contre les abus, en passant par l’optimisation de la bande passante réseau et des flux de trafic.
@MetaAI, intégré comme membre dans les discussions de groupe, était plutôt bon. On peut s’amuser avec des images, écrire des histoires, lui faire imiter un auteur ou rédiger des chapitres d’un livre médiocre.
Quelques anciennes discussions de groupe qui étaient restées silencieuses pendant des jours ont été relancées comme espaces où l’on joue sans cesse avec l’IA.
J’ai l’impression que ce genre de comparaison est difficile à interpréter. Même en faisant abstraction de l’inflation, l’économie à laquelle appartiennent ces dépenses a elle-même grandi.
Ce serait plus clair d’exprimer le coût en proportion de l’économie mondiale, de zones économiques et sociales comme l’Europe ou la sphère sinophone, ou encore d’une économie nationale.
Il y a peut-être quelque chose qui m’échappe.
Je ne comprends pas pourquoi tout le monde ne parle que de l’inflation. À l’époque du Manhattan Project, pour construire un dispositif équivalent à un GPU moderne, il aurait fallu bâtir un superordinateur bien plus grand et plus coûteux que le projet lui-même.
La technologie est tout simplement devenue énormément moins chère, elle nécessite moins de matériaux, et les coûts de recherche ont déjà été payés.
Si c’est vrai, j’ajouterais ceci : tout cet argent provient de l’attention humaine captée par la publicité et de l’exploitation des données personnelles des utilisateurs. Félicitations, l’humanité.
Qu’aurait-on pu accomplir si cet argent avait été consacré à des domaines utiles ?
C’est plutôt que les autres secteurs d’industrie lourde de l’économie sont déjà monopolisés, ce qui rend difficile d’y accomplir quoi que ce soit.
Quand Google est entré dans les télécoms, on aurait pu croire qu’il renverserait facilement de vieux parasites comme AT&T, Verizon ou Comcast, mais qu’est-il arrivé en réalité ?
C’est la même histoire avec les tentatives d’Apple dans l’automobile, la banque (cartes de crédit) et les contenus.
Cet argent finit donc par être dépensé de cette façon. Impossible de toucher à Exxon, Monsanto, Pfizer ou Boeing, et impossible de faire quoi que ce soit dans le logement, l’éducation, la santé ou la banque.
Au final, brûler du cash dans la nouveauté devient la voie par défaut, celle qui oppose le moins de résistance. Tous les « domaines utiles » sont murés.
Meta ne vend pas les données personnelles ; elle les utilise pour la publicité.
1 commentaires
Avis sur Hacker News
Je suis surpris que le Manhattan Project et l’Apollo Program paraissent aussi « bon marché » qu’ils le sont
C’est étrange de se dire que le coût pour envoyer des humains sur la Lune dans les années 1960 est du même ordre que le récent rachat d’actions d’Apple
Une comparaison plus juste consiste à regarder à combien d’années de salaire d’un citoyen moyen cela correspond
Le Manhattan Project coûtait 2 milliards de dollars en 1944, soit 121 000 années-ménages sur la base du revenu médian des ménages du recensement de 1940
Le rachat d’actions d’Apple représentait 110 milliards de dollars en 2024, soit 122 910 années-ménages sur la base du recensement de 2022
Autrement dit, en 80 ans, les chiffres officiels de l’inflation auraient sous-estimé les coûts d’environ 3,5 fois
L’installation de Santa Susana, où les fusées Apollo ont été testées, devrait elle aussi coûter des milliards de dollars à dépolluer, avec d’autres facteurs de coût en plus
À l’époque, on pouvait construire des routes, des chemins de fer et des navires ; aujourd’hui, il y a des centaines de règles, des lobbyistes et des parties prenantes qui réclament chacune leur part
Une fois la question de la survie temporairement réglée, les incitations financières deviennent beaucoup plus importantes
Le Manhattan Project et l’Apollo Program représentaient tous deux 0,4 % du PIB. Avec un PIB actuel de 27 000 milliards de dollars, 108 milliards de dollars correspondraient à la même proportion, et ce que Meta a dépensé en GPU n’en atteint même pas le tiers
C’est une échelle difficile à croire, et ce n’est pas une bonne chose
Et il est peu probable que Meta paie le prix de détail
https://fred.stlouisfed.org/series/FYONGDA188S
La complexité écrasante des GPU, CPU et SoC modernes ne nous frappe peut-être pas autant qu’elle le devrait
Comparé au processus de production de puces 3 nm contenant des dizaines de milliards de transistors, il est difficile de considérer le Manhattan Project comme un projet gigantesque. Il a certes été révolutionnaire, mais face au développement de wafers EUV, il est difficile de le qualifier de « gigantesque »
Hanford, ce n’était pas seulement des réacteurs : c’était aussi la création, littéralement au milieu de nulle part, d’une ville de plus de 43 000 habitants
À Oak Ridge se trouvait le K-25, alors le plus grand bâtiment du monde, qui ne sera dépassé que plus de 20 ans plus tard par la Boeing Everett Factory
Ces deux sites étaient aussi les principaux centres de coûts du projet. La science est bon marché, mais l’enrichissement de l’uranium et la production de plutonium — surtout quand personne ne l’a jamais fait — ne le sont pas
Je suis chaque fois frappé par la qualité et le savoir-faire des objets produits grosso modo avant les années 1960.
Je ne sais pas ce qui, à cette époque, a fait basculer la société vers cette modernité si gaspilleuse, lente, coûteuse et peu ambitieuse, mais si je pouvais revenir en arrière, je le ferais.
En particulier, dans le travail bureaucratique de bureau, la spécialisation a diminué. Aujourd’hui, tout le monde, y compris les médecins, finit par jouer lui-même le rôle de son propre assistant.
D’après les anecdotes de personnes qui ont vécu cette transition, l’une des choses que cette nouvelle culture managériale a abîmées, c’est le management lui-même, surtout aux niveaux inférieur et intermédiaire.
Auparavant, le temps qu’un manager passait en réunion avec ses pairs ou ses supérieurs variait progressivement selon le niveau hiérarchique ; les managers de premier niveau avaient peu de ce type de réunions et se concentraient sur les besoins de leurs subordonnés et le maintien des opérations.
Après le changement, tous les échelons du management ont été aspirés dans une culture de réunions, réunions et encore réunions, dont la plupart avaient peu de valeur. La mise en scène et les jeux politiques ont aussi pénétré beaucoup plus profondément qu’avant jusque dans le bas de l’organisation.
Nvidia : 26 000 personnes
TSMC : 73 000 personnes
Intel : 124 000 personnes
AMD : 25 000 personnes
Qualcomm : 50 000 personnes
ASML : 42 000 personnes
En ordre de grandeur, l’ensemble de l’industrie mondiale des semi-conducteurs pourrait être à un niveau comparable.
Le fait que tant d’indicateurs se soient dégradés de manière continue depuis 1971 est assez fou[1].
[1] https://wtfhappenedin1971.com/
Les thermoplastiques moulables par injection, adaptés à des usages bien plus larges que les jouets, manquaient.
Des coûts de main-d’œuvre relativement élevés ont peut-être réduit l’incitation à économiser sur les matériaux.
Les consommateurs acceptaient de payer plus cher les produits manufacturés, mais s’attendaient en échange à ce qu’ils soient réparables et durables.
Les appareils électroniques à tubes à vide nécessitaient souvent des tensions élevées et de lourds transformateurs ou batteries, ce qui imposait des boîtiers en métal ou en bois et des usages non portables. Par exemple, les radios grand public étaient souvent intégrées au mobilier.
Alors est-ce moins que ce qu’IBM a dépensé pour le System/360 ?
Pour citer Dijkstra : https://cacm.acm.org/news/an-interview-with-edsger-w-dijkstr...
Même après avoir dépensé autant, comment se fait-il qu’ils n’aient toujours pas rattrapé OpenAI ? Pourquoi OpenAI est-il si performant ?
Rien qu’avec ses services d’IA existants, comme les recommandations, l’entreprise consomme déjà énormément de ressources. La publicité est, aujourd’hui comme demain, sa source de cash, tandis que les grands modèles de langage ne génèrent pas encore de gros revenus.
Le chiffre d’affaires d’OpenAI en 2023 était d’environ 2 milliards de dollars et augmentera fortement en 2024, mais Meta a dégagé 40 milliards de dollars de bénéfice net en 2023. Financièrement, il n’y a pas encore de raison de rivaliser.
En anglais, Llama 3 70B bat déjà tous les modèles de Google et d’Anthropic, et n’est devancé que par la dernière version de GPT-4. C’est d’après les résultats d’Open LLM Arena.
Sait-on dans quelle mesure Meta utilise ces GPU pour ses opérations internes, et quelles économies ils en tirent ?
Au-delà de la décevante boîte de chat « meta ai », il doit y avoir énormément de domaines où déployer des H100 : du moteur de recommandation de contenus à la lutte contre les abus, en passant par l’optimisation de la bande passante réseau et des flux de trafic.
Quelques anciennes discussions de groupe qui étaient restées silencieuses pendant des jours ont été relancées comme espaces où l’on joue sans cesse avec l’IA.
J’ai l’impression que ce genre de comparaison est difficile à interpréter. Même en faisant abstraction de l’inflation, l’économie à laquelle appartiennent ces dépenses a elle-même grandi.
Ce serait plus clair d’exprimer le coût en proportion de l’économie mondiale, de zones économiques et sociales comme l’Europe ou la sphère sinophone, ou encore d’une économie nationale.
Il y a peut-être quelque chose qui m’échappe.
Je ne comprends pas pourquoi tout le monde ne parle que de l’inflation. À l’époque du Manhattan Project, pour construire un dispositif équivalent à un GPU moderne, il aurait fallu bâtir un superordinateur bien plus grand et plus coûteux que le projet lui-même.
La technologie est tout simplement devenue énormément moins chère, elle nécessite moins de matériaux, et les coûts de recherche ont déjà été payés.
Si c’est vrai, j’ajouterais ceci : tout cet argent provient de l’attention humaine captée par la publicité et de l’exploitation des données personnelles des utilisateurs. Félicitations, l’humanité.
Qu’aurait-on pu accomplir si cet argent avait été consacré à des domaines utiles ?
Quand Google est entré dans les télécoms, on aurait pu croire qu’il renverserait facilement de vieux parasites comme AT&T, Verizon ou Comcast, mais qu’est-il arrivé en réalité ?
C’est la même histoire avec les tentatives d’Apple dans l’automobile, la banque (cartes de crédit) et les contenus.
Cet argent finit donc par être dépensé de cette façon. Impossible de toucher à Exxon, Monsanto, Pfizer ou Boeing, et impossible de faire quoi que ce soit dans le logement, l’éducation, la santé ou la banque.
Au final, brûler du cash dans la nouveauté devient la voie par défaut, celle qui oppose le moins de résistance. Tous les « domaines utiles » sont murés.