- Réaffecter en cluster les cartes mères de smartphones inutilisés pour du cloud computing généraliste peut réduire la fabrication de nouveau matériel et ainsi diminuer l’empreinte carbone du calcul
- Les émissions carbone du calcul se divisent entre le carbone opérationnel lié à l’électricité consommée pendant l’usage et le carbone incorporé de la fabrication du matériel, cette empreinte de fabrication étant un problème plus complexe
- Le cœur de performance en mono-thread d’un smartphone récent égale ou dépasse souvent celui d’un serveur multicœur moderne, mais la mémoire et le nombre de cœurs restent limités, ce qui impose de sélectionner les applications adaptées
- Avec le soutien de Google, UC San Diego prévoit un datacenter basé sur 2 000 smartphones Pixel ; un premier test sur 20 appareils a déjà permis d’absorber le pic de remises d’un cours de plus de 75 étudiants, avec une latence de correction inférieure à celle d’un backend AWS de base
- Ce déploiement pourrait fournir l’équivalent de la puissance de 50 serveurs à faible coût, tout en servant de banc d’essai à grande échelle pour évaluer la fiabilité de matériel grand public en usage continu
Empreinte carbone du calcul et réemploi des smartphones
- L’empreinte carbone du calcul est un enjeu central de durabilité, avec deux grandes sources : le carbone opérationnel issu de la consommation d’énergie pendant l’usage, et le carbone incorporé lié à la fabrication du matériel
- Le carbone opérationnel est souvent traité par des gains d’efficacité énergétique ou l’usage d’énergies propres, mais l’empreinte de fabrication constitue un obstacle plus complexe
- Les chercheurs de l’UC San Diego construisent une approche de calcul en cluster de téléphones consistant à extraire les cartes mères de smartphones retirés du service, à les regrouper en cluster et à les réaffecter comme plateforme de calcul généraliste
- Le projet universitaire, soutenu par Google, vise à constituer un datacenter de 2 000 smartphones Pixel afin de fournir du cloud computing bas carbone et à faible coût à des centaines de chercheurs et d’étudiants
- Cette approche cherche à réduire le besoin de fabriquer du nouveau matériel et les émissions associées
Les smartphones : un facteur important
- En moyenne, les gens remplacent leur téléphone tous les 4 ans
- Ce remplacement est généralement piloté par la demande pour de nouveaux appareils, notamment pour les fonctionnalités offertes par les nouveaux modèles
- Beaucoup de téléphones remplacés conservent leurs capacités de calcul essentielles et restent des ordinateurs relativement puissants, avec processeurs, accélérateurs, mémoire et stockage intégrés
- Même des téléphones anciens qui ne séduisent plus leur premier acheteur peuvent, une fois remis en service, éviter l’extraction de matières premières supplémentaires et réduire directement l’empreinte environnementale du calcul
- La nouvelle stratégie consiste à réaffecter des smartphones devenus indésirables à des applications de cloud computing
Du matériel grand public au matériel de datacenter
- Les cœurs de performance des smartphones récents en mono-thread égalent ou dépassent souvent les performances par cœur des serveurs multicœurs modernes
- Une comparaison entre le Pixel Fold 2023 et l’ASUS RS720A-E11 à l’aide de la suite de benchmarks SPEC montre que, dans la plupart des tests, les performances par cœur du cœur de performance du Pixel Fold dépassent celles du serveur de datacenter de référence
- La plus grande différence entre smartphone et serveur tient à la taille et à la capacité
- Les serveurs disposent de dizaines de cœurs processeur multithread puissants et de très grandes capacités mémoire
- Les smartphones disposent de quelques cœurs processeur hétérogènes et de 8 à 12 Go de mémoire
- Le principal défi consiste à cibler des applications qui correspondent à la capacité des smartphones, ou qui peuvent s’y adapter
- Réaffecter des smartphones grand public non modifiés à un environnement de datacenter est risqué et inefficace
- Des composants périphériques comme l’écran, la batterie, le châssis ou l’appareil photo ne sont pas nécessaires dans un environnement serveur
- Certains composants, en particulier la batterie, ne sont pas fabriqués avec des matériaux adaptés aux exigences d’un datacenter
- Avant le déploiement, il faut traiter les smartphones pour ne conserver que la carte mère qui porte les fonctions de calcul essentielles
- Selon une évaluation interne de l’empreinte carbone, la carte mère représente la plus grande part du carbone incorporé, soit environ 50 %
- Cette opération cible donc le composant ayant le plus d’impact
Système d’exploitation et orchestration de cluster
- Le système d’exploitation Android repose déjà sur Linux, mais l’espace utilisateur Android orienté mobile doit être remplacé par une distribution Linux généraliste
- La mise à jour du système d’exploitation améliore non seulement la programmabilité, mais désactive aussi plusieurs protections importantes sur les appareils grand public, mais inutiles pour le cloud computing
- Les téléphones embarquent un démon low memory killer qui limite les applications gourmandes en mémoire
- Pour atteindre des performances comparables à celles de serveurs traditionnels, il faut orchestrer le travail sur un grand nombre d’appareils
- Les résultats des benchmarks SPEC indiquent qu’il faut entre 25 et 50 smartphones pour équivaloir à un serveur moderne
- Ce problème est traité en gérant des applications conteneurisées avec Kubernetes
- Les téléphones sont regroupés en clusters autogérés de 25 à 50 appareils
Construire une plateforme de cloud computing bas carbone
- Dans plusieurs universités, des applications EdTech, de correction et de recherche tournent déjà dans le cloud
- Le spectre des applications va de petites machines pour héberger des notebooks Jupyter à des serveurs coûteux à base de GPU pour les cours de calcul parallèle
- La majorité de ces applications entre dans ce qu’un seul smartphone peut héberger
- Un backend de correction standard fonctionne sur une petite instance cloud comme AWS t3.micro, avec 2 vCPU et 1 Go de mémoire
- Une expérimentation exécutant des tâches de correction de calcul parallèle sur un cluster de 20 téléphones a montré des points de fonctionnement répondant ou dépassant les exigences habituelles de débit et de latence
- Les devoirs fondés sur la multiplication de matrices sont intensifs en CPU et s’exécutent pendant environ 50 secondes sur un seul appareil
- Les chiffres de latence incluent l’orchestration du cluster
- Les chercheurs de l’UC San Diego prévoient un cluster de calcul de 2 000 téléphones pour prendre en charge des cours d’informatique comme Parallel Computation et Systems Programming
- Dans les premiers essais, un cluster de 20 téléphones a pu absorber le pic de remises d’un cours de plus de 75 étudiants, avec une latence de correction inférieure à celle du backend AWS de base
- Un déploiement de 2 000 téléphones pourrait prendre en charge 100 cours de ce type simultanément
- Le déploiement présente l’avantage direct de fournir l’équivalent de la puissance de 50 serveurs pour une fraction du coût habituel
- Le même déploiement servira aussi de banc d’essai pour valider à grande échelle le calcul basé sur smartphone
- En particulier pour étudier la fiabilité de matériel grand public dans un environnement d’usage continu
- Le système complet devrait être lancé à l’automne 2026
- Pour en savoir plus sur les approches de réduction des émissions carbone liées à l’électronique grand public, voir le Consumer Hardware Carbon Reduction Guide
1 commentaires
Avis Hacker News
La raison principale pour laquelle des téléphones retirés du service deviennent des déchets électroniques, c’est qu’à cause des blobs de firmware propriétaires et des systèmes verrouillés, les utilisateurs ne peuvent pas maintenir leurs appareils à jour avec des correctifs de sécurité.
La durée de support des OEM est aussi beaucoup trop courte, donc une fois le support arrêté, l’appareil devient très peu sûr.
Il ne faut pas connecter de vieux appareils à un réseau accessible depuis Internet.
Google s’en sort bien sur ce point avec 7 ans de support, mais Sony n’en offre que 4, et c’est similaire pour les modèles non premium de Xiaomi ou les modèles les moins chers de Samsung.
Mais si Google peut recevoir un lot arbitraire de vieux téléphones et faire cela, on peut se demander pourquoi le même choix n’est pas offert aux consommateurs.
Même si ce n’est possible que sur des téléphones autrefois vendus par Google, la même question reste valable, et elle s’applique aussi aux autres fabricants.
Comme cela a été dit, il faut casser ce cycle où la fin du support OEM rend automatiquement un téléphone inutile.
Il faut aussi que l’utilisateur final puisse remplacer ou réparer la batterie, l’écran, les connecteurs, etc.
On ne sait pas non plus clairement comment les données entrent et sortent de ces vieux nœuds de calcul basés sur des téléphones.
On ne sait même pas si c’est via USB-C, et l’article manque un peu d’explications sur ce point.
En général, on en change parce qu’il est devenu lent, que la batterie est usée ou qu’on veut un meilleur appareil photo.
Et même si on peut remplacer les blobs de firmware ou le kernel, cela ne veut pas dire que des mises à jour seront réellement publiées.
Dans LineageOS, Android 16 exige Linux 5.4 ou plus récent, donc beaucoup de téléphones utilisant des kernels plus anciens restent bloqués sur 22.2 (Android 15).
Avant, même des appareils comme le Pixel original de 2016 pouvaient passer à la dernière version d’Android.
Ce n’est pas un problème de blobs de firmware ni de système verrouillé : le code source du kernel existe et le remplacement du kernel est possible, mais personne ne va vraiment se donner la peine de mettre à jour le kernel d’un téléphone vieux de 10 ans.
https://lineageos.org/Changelog-30/#legacy-devices
Dire qu’il ne faut pas connecter de vieux appareils à un réseau accessible depuis Internet dépend aussi du cas d’usage.
Pour un NAS ou un cluster de calcul qui n’exécute que des charges de travail de confiance, cela peut être acceptable tant qu’il n’y a pas de vulnérabilité d’exécution de code à distance dans le kernel.
Comme il se concentre sur les téléphones Google, le déverrouillage du bootloader ne sera sans doute pas le principal problème, et il est aussi indiqué qu’il faut remplacer le kernel, même si c’est pour une autre raison.
Le plus grand obstacle à ce genre de cluster sera probablement le coût.
Même si un téléphone de 4 ans est gratuit, il faut le démonter, le tester, puis développer le matériel et le logiciel de support, et recommencer tout cela en continu.
Google a peut-être assez de volume pour constituer un cluster homogène à partir d’une génération matérielle précise, mais les générations de téléphones changent tous les quelques mois.
Utiliser du matériel vieux de 4 ans, c’est aussi partir avec 4 années de durée de vie des composants déjà consommées, et cela même en comparant des matériels de même catégorie, sans même parler de la différence entre matériel grand public et matériel serveur.
Avec tout ce travail supplémentaire, on peut aussi se demander quel sera l’impact sur l’empreinte carbone qu’on cherche justement à réduire.
Il serait peut-être plus efficace de faire durer les téléphones plus longtemps en tant que téléphones.
C’est très bien comme projet de recherche ou petit projet hobby, mais cela semble extrêmement difficile à rendre viable commercialement.
Les téléphones dont on peut déverrouiller le bootloader sont déjà rares, et les pilotes ouverts qu’on peut amener vers un kernel mainline le sont encore davantage.
L’article semble mentionner le Pixel Fold 2023 comme l’un des candidats : cela peut être une bonne opportunité si son écran fragile est cassé, mais ce n’est pas un appareil d’occasion qu’on trouvera à bas prix.
Même les Pixel au format barre classique ont un support limité pour de vrais systèmes alternatifs à Android comme PostmarketOS, et les appareils tiers moins chers utilisent généralement des SoC Mediatek/Exynos avec peu ou pas de documentation publique ni de support.
Le déverrouillage du bootloader était possible et il y a LineageOS, donc je peux encore l’utiliser.
Les performances sont encore correctes et suffisantes pour mes usages, et toutes les applis bancaires et de paiement numérique fonctionnent.
Les OEM n’ont qu’à autoriser le déverrouillage du bootloader.
Même s’ils ne l’autorisent qu’après l’arrêt de la commercialisation, cela réduirait énormément le gaspillage.
C’est d’une avidité excessive.
Pour rendre ce genre de chose possible, il faudrait une réglementation imposant le déverrouillage du bootloader.
Les gens construisent des clusters avec du matériel grand public depuis des décennies, et beaucoup se souviennent des supercalculateurs à base de PS3 du milieu des années 2000.
Personnellement, j’ai beaucoup de traitements batch comme des simulations CFD, donc je pourrais facilement les exécuter sur un lot de téléphones sans gros problème de fiabilité.
J’aimerais réutiliser du vieux matériel et lui offrir une seconde vie.
J’envisage déjà de faire tourner de vieux serveurs de lieux comme ETB, mais les téléphones auront probablement un bien meilleur débit par watt.
Je ne sais pas s’il serait juste d’exiger le déverrouillage même pour ce genre d’appareils.
Cela dit, pour les machines de calcul génériques, je suis 100 % d’accord, et au fond ce n’est pas si différent.
On pourrait aussi imaginer qu’au bout d’environ 4 ans sur le marché, tous les appareils doivent pouvoir être déverrouillés, qu’ils soient encore en vente ou non et indépendamment de la fin du support.
Ou alors, vendre dès le départ moins cher que la concurrence en comptant se rattraper plus tard sur les jeux n’est peut-être tout simplement pas un bon modèle économique.
Peut-être que tout appareil dépassant un certain niveau de mémoire et de performance CPU, et capable de traiter du trafic IP, devrait être déverrouillable.
Histoire de ne pas en arriver à exiger aussi le déverrouillage du firmware d’un grille-pain.
Les fabricants de matériel devraient publier les codes source nécessaires pour le firmware, les blobs, etc.
En dehors des exceptions liées à la sécurité nationale, je pense aussi qu’il devrait y avoir une règle des 20 ans imposant la publication du code source de tous les logiciels commerciaux 20 ans après leur sortie.
Une approche intéressante
La manière dont ce groupe traite les appareils comme une multitude de serveurs peu puissants, en pratique comme un cluster de Raspberry Pi, semble être la façon la plus réaliste de réutiliser du matériel de téléphone à grande échelle
C’est encore plus vrai s’il y a un vrai soutien des fabricants de matériel
C’est vraiment dommage que l’iPhone soit bien plus verrouillé qu’Android
En théorie, on peut faire tourner Linux dans UTM[0], mais en dehors de l’UE Apple rend ça délibérément difficile, et il reste des limites de mémoire ainsi qu’une perte de performances
Le projet de fin d’études de notre groupe était aussi un cluster de calcul basé sur des téléphones, avec en particulier l’inférence LLM comme objectif [1]
Au lieu d’installer un nouvel OS, nous avons créé des applications distinctes pour chaque OS
Comme les appareils étaient des modèles plus anciens, les téléphones Android avaient un matériel plus faible, et l’iPhone avait davantage de contraintes logicielles
[0] https://getutm.app/
[1] https://github.com/orgs/rmcluster/repositories
J’aimerais que ce projet débouche sur quelque chose que les utilisateurs de homelab ou d’auto-hébergement puissent fabriquer avec une imprimante 3D
Ça me paraît être la catégorie d’utilisateurs finaux la plus probable
Je me demande s’il y a un billet ou un lien vers l’article scientifique
Il m’arrive parfois d’imaginer un monde post-apocalyptique étrange où les usines ont brûlé et où les gens doivent survivre avec la technologie qui reste
Pas de réseau, seulement une alimentation solaire externe ou des générateurs, et uniquement des appareils locaux
Il est intéressant de réfléchir jusqu’où on pourrait aller dans ces conditions
Je me demande si vous avez des recommandations de romans, films ou jeux vidéo sur ce thème
Si ce fantasme vous attire, c’est probablement parce que vous êtes compétent dans les techniques qui y seraient nécessaires
Mais il n’y a qu’une ligne très fine entre cela et le fait de souhaiter activement qu’une telle catastrophe se produise vraiment
Parce qu’alors vous et vos compétences auriez de la valeur
Il faut se méfier de ce type de fantasme auto-gratifiant
Les collectionneurs d’armes espèrent parfois en secret l’effondrement de la loi et de l’ordre, ceux qui vivent à la campagne avec des chevaux imaginent un monde de cow-boys sans voitures, et ceux qui bricolent de vieilles voitures pensent à des situations à la Mad Max
Ces scénarios n’ont rien de particulièrement probable, mais ils se maintiennent dans l’imaginaire parce que beaucoup de gens souhaitent secrètement qu’ils deviennent réels
Par exemple, on y voit des ressorts comprimés utilisés à la place des moteurs à essence, ou encore des ordinateurs actionnés au pédalier
Ce sont aussi des récits assez sombres, donc cela peut déplaire à certaines personnes
https://windupstories.com/books/pump-six-and-other-stories/
Silo / WOOL de Hugh Howey est peut-être littéralement plus proche, mais l’ambiance recherchée n’est peut-être pas tout à fait la même
Plus généralement, cela vaut le coup de chercher du côté du genre solarpunk, surtout le solarpunk post-apocalyptique
C’est vraiment déprimant, donc mieux vaut être prévenu, mais si vous êtes préparé mentalement, cela peut valoir la lecture
C’est étrange que cela vienne précisément de Google, qui a récemment limité l’accès tiers au code source AOSP aux versions semestrielles, réduit en pratique le périmètre du code source Pixel presque au seul GPL, et a commencé à masquer l’historique des changements
En plus, Google pousse maintenant la certification des développeurs et Play Integrity sur Android
Je ne sais pas s’il faut le prendre comme une blague ou comme le signe d’une lutte de pouvoir interne
Si c’est la première option, il y a encore du chemin à faire pour arriver au niveau de “Upcycle” de Samsung, mais la direction est la bonne
D’ordinaire, avec un ordinateur, on peut récupérer à peu près n’importe quoi, y installer Linux et en une heure c’est utilisable, alors que sur Android il faut passer par une multitude d’étapes pour faire la même chose, avec des résultats en plus très inégaux, ce qui est absurde
Les fabricants de téléphones nous ont conditionnés à voir le téléphone comme un objet spécial, et ils nous exploitent correctement grâce à ça
Ce n’est qu’un ordinateur avec un périphérique sans fil intégré
C’est honteux
Dans un registre un peu connexe, certaines personnes ont aussi fait de l’hébergement web avec des smartphones attachés dans un tiroir
https://far.computer
https://compost.party
Ce « papier » ne contient en réalité presque rien et ressemble davantage à une proposition agrémentée de quelques graphiques peu utiles
Je ne vois pas ce qu’il y a de nouveau
Les gens avec peu de budget fabriquent depuis longtemps des clusters de calcul à partir de matériel d’occasion upcyclé
C’est très étonnant que ce genre de chose vienne de Google
Ils ont rendu impossible l’installation directe de son propre système d’exploitation sur leur plateforme mobile, et maintenant ils essaient aussi de faire passer l’installation d’apps personnalisées pour quelque chose d’illégal : https://keepandroidopen.org/
Rien qu’au début de l’article, on voit qu’il s’agit d’un financement de recherche accordé par Google Research à l’University of California, et que le travail n’a même pas été réalisé principalement par des employés de Google
Le terme « illégal » est aussi discutable
Ça veut dire quoi, qu’on va en prison pour ça ?
Et en plus ce n’est pas exact
Les apps peuvent être installées après 24 heures d’attente, et avec adb, on peut même les installer sans attendre
C’est un choix des OEM de téléphones, et le fait qu’on puisse déverrouiller les téléphones Pixel le prouve
En réalité, c’est aussi pour cette raison que ce projet est possible
En tant que personne qui a monté quatre RPi Zero W dans un cadre Ikea pour les faire tourner en cluster Docker Swarm, j’adore vraiment cette idée
Je me demande s’il y a un billet quelque part à ce sujet