- La combinaison Intel i5-12400, ASUS Prime H770-Plus D4, 64 Go de DDR4, Ubuntu Server 23.04 et Corsair RM750 a atteint 7 W au repos mesurés à la prise murale avant l’ajout de périphériques de stockage
- La clé de cette faible consommation consiste à activer dans le BIOS C-State, ASPM L1, RC6 et ALPM, puis à utiliser l’auto-tuning de PowerTOP pour permettre au package CPU d’entrer dans les états d’économie d’énergie C8/C10
- Avec 12 HDD et plusieurs NVMe connectés, la consommation est montée à 24–25 W ; le problème du JMicron JMB585, qui empêchait l’ASPM et bloquait le système en C3, a été atténué en le remplaçant par un contrôleur SATA ASM1166
- Les lignes PCIe/M.2 directement reliées au CPU, les modèles de SSD NVMe et SATA, la carte réseau Realtek, les périphériques USB et le firmware du contrôleur SATA peuvent modifier les C-State, ce qui impose des tests A/B selon les combinaisons de composants
- Même la configuration finale avec 11 HDD et des contrôleurs NVMe/SATA est descendue à 15–16 W avec spin-down des HDD et mise en veille de l’écran et du clavier ; à long terme, le passage aux SSD devrait permettre 10–11 W au repos
Configuration de référence du build à 7 W au repos
- L’objectif était une faible consommation au repos, des performances CPU suffisantes pour la compression, la prise en charge de 12 HDD et d’au moins 1 NVMe, une extensibilité permettant de passer plus tard à 6 NVMe et 6 SSD SATA, ainsi qu’un coût maîtrisé
- La mesure de 7 W a été effectuée à la prise murale avant l’ajout massif de stockage
- Carte mère Intel H770
- CPU Intel i5-12400
- 64 Go de RAM DDR4
- SSD de démarrage Ubuntu Server 23.04
- PSU Corsair
- Les C-State ont été configurés dans le BIOS pour atteindre C8, puis
powertop --auto-tunea été appliqué - L’auto-tuning de PowerTOP a désactivé le clavier USB via l’économie d’énergie des ports USB ; en gardant le clavier utilisable, la consommation à la prise était de 8 W
- Avec la sortie d’affichage active, la consommation était de 9–10 W ; avec
consoleblank=600, l’écran s’éteint après 600 secondes et la consommation descend à 7 W
Builds basse consommation précédents et objectif actuel
- Les builds basse consommation précédents ont servi de points de référence pour cet objectif
- PC basse consommation de 2016 basé sur Skylake : 10 W au repos dans Building a Low Power PC on Skylake – 10 watts idle
- NAS domestique/serveur de fichiers de 2019 avec 4 périphériques de stockage : 9 W au repos dans 9w Idle – Creating a low power home NAS / file server with 4 Storage Drives
- En 2021, la combinaison Gigabyte H470M DS3H et Intel i3-10320 atteignait 11 W, sans article dédié
- En 2022, deux autres systèmes atteignaient respectivement 19 W et 27 W, montrant que toutes les combinaisons CPU/carte mère ne descendent pas autour de 10 W
- Monter un nouveau système autour de 10 W à la prise impose de choisir les composants, de les régler puis de vérifier les résultats réels : c’est presque un pari
Choix de la carte mère : ASUS Prime H770-Plus D4
- Le choix final s’est porté sur l’ASUS Prime H770-Plus D4
- À ce moment-là, les options grand public étaient les cartes mères Intel séries 600/700 et AMD séries 500/600
- La possibilité d’utiliser 6 disques NVMe à l’avenir était importante, mais aucune carte mère grand public ne semblait permettre d’utiliser simultanément 6 emplacements M.2 en mode PCIe
- L’AMD MEG X570S Unify-X Max ressemble à une carte avec 6 M.2, mais d’après le manuel, si les 6 sont occupés, le dernier emplacement doit être une variante SATA
- L’ASRock Z790 PG Sonic propose aussi 6 emplacements, mais à cause des conditions d’exclusion du slot NVMe Gen5, seuls 5 peuvent être utilisés
- Sur les cartes grand public, vouloir utiliser tous les M.2 en Gen4 x4 se heurte aux limites de lignes du chipset
- AMD X570, Intel B760 : jusqu’à 3
- AMD B650, Intel H670/Q670/Z690/W680 : 4
- AMD X670, Intel H770 : 5
- Intel Z790 : 6
- L’objectif de 6 NVMe nécessitait un adaptateur PCIe vers M.2 ; le nombre d’emplacements M.2 intégrés plus le nombre de slots PCIe x4 ou plus est donc devenu le critère de choix de la carte mère
- La plateforme Intel a été choisie pour la consommation du chipset, le débit du lien chipset-CPU, les composants déjà disponibles et les inquiétudes concernant la consommation de l’AM5
- Le TDP des chipsets Intel séries 600/700 est de 6 W pour tous les modèles
- Les chipsets AMD X670 ont été considérés comme 7 W + 7 W
- Les Intel H670/Q670/W680/Z690/H770/Z790 se connectent au CPU en DMI 4.0 x8, tandis que les AMD X570/B650/X670 utilisent PCIe 4.0 x4, soit un débit théorique d’environ 16 Go/s contre 8 Go/s
- Les 64 Go de DDR4 et le CPU Intel 12e génération déjà disponibles pouvaient être réutilisés
- Les chipsets AMD série 600 exigent de la DDR5
CPU, mémoire, disque de démarrage et PSU
- Le CPU utilisé était l’Intel i5-12400 H0 stepping Alder Lake déjà disponible
- Il avait été choisi pour un précédent build desktop en raison du décodage matériel AV1, de l’absence de surcharge liée au silicium des E-cores et de ses performances dans la gamme 12e génération
- Ce précédent build desktop avait eu de nombreux problèmes liés au GPU et à l’affichage, mais ce n’était pas un facteur clé pour ce build orienté serveur
- La mémoire utilisée était 64 Go de DDR4-3200
- 2x16 Go Kingston HyperX dual-rank Hynix DJR
- 2x16 Go Kingston HyperX single-rank Hynix CJR
- Les 4 modules fonctionnaient en 16-18-18-36, avec une tension RAM réglée à 1,25 V
- TestMem5 et Memtest86 étaient stables même à 1,22 V, mais 1,25 V a été retenu pour garder une marge de stabilité
- Le disque de démarrage de test était un SSD SATA Sandisk Ultra 3D 1 To
- Ubuntu 23.04 a été installé sur un SSD SATA afin de garder les slots PCIe libres, car de nombreux tests A/B PCIe et NVMe étaient prévus
- Après les tests, l’OS principal devait fonctionner sur un NVMe Samsung SSD 970 EVO Plus 500 Go
- Le PSU utilisé était un Corsair RM750
- 750 W peut sembler excessif pour un système à environ 10 W au repos, mais la charge instantanée peut être élevée lorsque les moteurs de 12 disques démarrent simultanément
- Seagate indique un courant de crête sur le rail 12 V de 2 A/3 A en DC/AC pour un disque 3,5 pouces de 10 To
- Le calcul indiquait que si 6 disques tiraient simultanément 150–200 W et que le CPU atteignait 120 W en crête, le système pouvait passer instantanément d’un repos à 10 W à environ 400 W
- Un manque de puissance instantané peut entraîner une chute de tension, un crash, un redémarrage ou une corruption de données pendant une écriture
Réglages d’alimentation BIOS et OS
- Les premières mesures de consommation ont été faites sous Ubuntu Server 23.04, avec l’auto-tuning d’Intel PowerTOP et une mesure à la prise
- Les principaux réglages appliqués dans le BIOS étaient les suivants
- Activation des CPU C-state jusqu’à C10
- Activation de l’ASPM et réglage complet en L1
- Activation de RC6 (Render Standby)
- Activation d’Aggressive LPM Support (ALPM)
- Désactivation de HD Audio, Connectivity Mode, des LED, du périphérique GNA et du port série
- Pour un objectif basse consommation, la prise en charge par la carte mère et la configuration du BIOS sont essentielles
- Sur la carte ASUS H770, il faut activer Native ASPM et les états L1 appropriés pour réduire la consommation
- Ce réglage permet à l’OS de contrôler l’ASPM au lieu de laisser le BIOS le faire
Goulots d’étranglement révélés après ajout du stockage
- Une fois 12 HDD connectés et laissés à l’arrêt, la consommation en veille est passée de 7 W à 24–25 W
- Au départ, 6 HDD 2,5 pouces et 6 HDD 3,5 pouces étaient utilisés
- La carte mère n’ayant que 4 ports SATA, un contrôleur SATA et un multiplicateur de ports ont été utilisés
- Au début, 4 NVMe étaient aussi utilisés, et le Western Digital SN770 semblait rester chaud même au repos, sans entrer en mode basse consommation
- Après déconnexion des HDD et test des composants un par un, le contrôleur SATA JMicron JMB585 semblait être la principale cause de la hausse de consommation
- Sans le JMB585, le package CPU atteignait C6
- En reconnectant le JMB585, le système ne dépassait plus C3
- Si un périphérique PCIe n’entre pas en ASPM L1, le CPU ne peut pas atteindre des états d’économie plus profonds
- La carte contrôleur JMB585 ne semble pas prendre en charge l’ASPM
Impact des lignes PCIe directement reliées au CPU
- Ce système n’atteignait C8 que lorsque rien n’était connecté aux lignes PCIe directement reliées au CPU
- Dès qu’un périphérique était branché dans le slot PCIe supérieur ou le slot NVMe supérieur, C6 devenait la limite
- Lors d’un test simple, l’écart de consommation entre C6 et C8 semblait inférieur à 1 W
- C8 est appréciable, mais atteindre C6 est considéré comme indispensable
- C3 a été jugé trop gourmand en énergie
- Sur cette carte mère précise, il vaut mieux éviter les lignes directement reliées au CPU si une faible latence ou toute la bande passante CPU directe n’est pas indispensable
Comparaison entre contrôleurs SATA ASM1166 et JMB585
- En cherchant un HBA SATA, il a été estimé que le contrôleur SATA ASM1166 pouvait prendre en charge ASPM L1, mais qu’un flash du firmware était nécessaire pour l’utiliser correctement
- Après réception de la carte ASM1166, le firmware a d’abord été flashé
- Le firmware le plus récent utilisé est le fichier “fix compatibility issue” de la section téléchargements du SilverStone ECS06 : https://www.silverstonetek.com/en/product/info/expansion-cards/ECS06/
- La procédure suivait la documentation de Phil Barker : https://docs.phil-barker.com/posts/…
- Le fichier SilverStone avait le même MD5 que le firmware trouvé sur le forum unRAID
- Résultats de mesure sans disque connecté
- Aucun contrôleur SATA : 8 W, C8
- ASM1166 installé dans un slot x4 relié au chipset : 9 W, C8
- JMB585 installé dans le slot x16 relié au CPU : 12 W, C3
- JMB585 installé dans un slot x4 relié au chipset : 15 W, C3
- ASM1166 installé dans le slot x16 relié au CPU : 22 W, C2
- Avec des disques connectés, l’ASM1166 était nettement meilleur que le JMB585 sur le plan de la consommation
- ASM1166 installé dans un slot x4 relié au chipset : 10 W, C8
- 2 ASM1166 installés dans des slots x4 reliés au chipset, avec seulement 1 NVMe utilisé : 11 W, C8
- JMB585 installé dans un slot x4 relié au chipset : 16 W, C3
- JMB585 installé dans le slot x16 relié au CPU : 24 W, C2
- Avec 4 disques branchés sur le slot relié au chipset, l’ASM1166 ajoutait +2 W à la consommation système, contre +8 W pour le JMB585
Les disques NVMe et SATA modifient aussi les C-State
- Lors de l’utilisation d’un WD Black SN770 Gen4 NVMe sur le port PCIe/NVMe supérieur relié au CPU, des erreurs AER Bus Error et BadTLP sont apparues
- Il n’y avait pas d’erreur si “PEG – ASPM” dans le BIOS était réglé sur Disabled ou L0s
- Mais L1 est important pour les économies d’énergie, ce n’était donc pas une bonne option
- Régler Link Speed sur Gen3 réduisait fortement les erreurs, sans les éliminer complètement
- Le remplacement du disque WD par un Crucial P3 a supprimé les erreurs
- Lorsque deux NVMe Crucial P3 étaient installés dans le slot PCIe x16 relié au CPU et dans le slot M.2 supérieur, la température au repos du contrôleur était élevée
- La NAND était autour de 27–29 °C, mais le contrôleur était indiqué à 49–50 °C
- En plaçant les deux NVMe dans des slots PCIe reliés au chipset, L1.1/L1.2 s’activait et la température du contrôleur descendait à 38–41 °C
- Une mise à jour indique que, dans le build final, la température du contrôleur des Crucial P3 était de 31–34 °C et celle de la NAND de 23–24 °C
- La marque et le modèle des SSD SATA peuvent aussi modifier le résultat des C-State
- Le SSD SATA Patriot P210 1 To maintenait le système en C6
- Les disques ayant permis C10 incluaient les Samsung 850 EVO SATA SSD, Seagate SATA HDD, Toshiba SATA HDD, Sandisk Ultra 3D SATA SSD et Crucial MX500
- Pour les SSD SATA, il vaut mieux choisir soigneusement la marque et le modèle, puis vérifier les indicateurs de performance pendant la période de retour après achat
Configuration de stockage actuelle et consommation
- La configuration actuelle contient nettement plus de stockage
- 1x Samsung 970 EVO Plus NVMe 500 Go comme disque de démarrage
- 2x Crucial P3 NVMe 4 To
- 5x HDD Seagate 2,5 pouces 5 To, chacun exploité à 4 To
- 6x HDD Seagate 3,5 pouces 10 To, chacun exploité à 8 To
- 2x cartes SATA ASM1166
- Avec l’écran allumé et le clavier actif, la consommation à la prise par étape était la suivante
- Les 11 HDD tous en active-idle : 50 W
- Les 6 HDD 3,5 pouces en Idle B : 38 W
- Les 6 HDD 3,5 pouces en Idle C : 34 W
- Les 6 HDD 3,5 pouces spin down en Standby_Z : 21 W
- Les 5 HDD 2,5 pouces également en Standby : 18 W
- Sortie d’affichage éteinte : 16 W
- PowerTOP autorisé à désactiver le clavier USB : 15 W
- La consommation en standby indiquée par Seagate est d’environ 0,8 W par disque 3,5 pouces et 0,18 W par disque 2,5 pouces, ce qui semble correspondre aux observations réelles
- Les disques 3,5 pouces sont des composants très consommateurs d’énergie comparés au reste du système
Transition à long terme des HDD vers les SSD
- La consommation au repos des HDD en standby étant faible, il n’y a pas d’urgence à passer aux SSD
- La migration se fera progressivement lorsque les HDD et les disques de rechange tomberont en panne ou lorsque les prix des SSD baisseront
- L’objectif final est un build 100 % SSD
- Le plan initial prévoyait 1 disque de démarrage, 6x NVMe pour un RAIDZ2 et 6x SSD SATA pour un second RAIDZ2
- Les NVMe envisagés étaient probablement des Crucial P3 4 To, et les SSD SATA probablement des Samsung 870 QVO 8 To
- L’utilisation des slots M.2/PCIe directement reliés au CPU ayant un comportement imprévisible et un léger coût en C-State, consommation et température, il pourrait être décidé de renoncer à une partie des NVMe et d’utiliser davantage de SATA pour éviter les lignes CPU directes
- En remplaçant tous les HDD par des SSD, la consommation au repos devrait être d’environ 10–11 W avec 72 To de disques, 64 Go de RAM et un processeur assez performant
Cache ZFS et utilisation de Special vdev
- Le remplacement complet des HDD par des SSD pouvant prendre du temps, les fonctionnalités ZFS exploitant du stockage rapide seront utilisées entre-temps
- ZFS propose la Special Allocation Class et des disques de cache L2ARC comme options permettant de placer du stockage rapide, comme un SSD, devant du stockage lent
- La Special Allocation Class permet de créer un vdev dédié aux métadonnées et aux petits blocs d’une taille choisie
- Les listes de fichiers et la navigation dans les répertoires deviennent plus rapides
- Les fichiers eux-mêmes peuvent rester sur les HDD, tout en évitant de réveiller les HDD lors de l’exécution de
lsdans plusieurs répertoires - En revanche, toutes les métadonnées étant sur le special vdev, si ce vdev tombe en panne, l’accès à toutes les données devient pratiquement impossible
- Une configuration au minimum en miroir est nécessaire, et un miroir à 3 voies peut aussi être envisagé
- L2ARC est le cache de second niveau de ZFS
- Lorsque le cache RAM est plein, ZFS copie certains blocs vers le L2ARC puis les retire de la RAM
- Lors de l’accès suivant, ces données sont lues depuis le L2ARC plutôt que depuis le disque
- Un seul SSD suffit pour L2ARC ; en cas d’erreur de checksum ou de panne du disque, ZFS relit les données depuis le disque d’origine
- Dans cette configuration, un NVMe de 4 To est utilisé comme L2ARC
- Lorsque les autres disques 2,5 pouces auront tous été remplacés par des SSD et que l’avantage de vitesse du cache SSD aura disparu, ce périphérique de cache pourra être retiré
Conclusions pratiques
- Pour une faible consommation au repos, le BIOS de la carte mère doit proposer suffisamment de réglages C-State, ASPM et ALPM
- Tous les périphériques doivent prendre en charge ASPM L1 pour obtenir un résultat stable
- La partie la plus difficile a été de trouver un contrôleur SATA compatible ASPM L1
- Si possible, mieux vaut utiliser une carte mère disposant de suffisamment de ports SATA directement reliés au chipset Intel, afin d’éviter une carte dédiée
- Il faut aussi vérifier que les NVMe sont des modèles dont les états basse consommation APST fonctionnent correctement sous ASPM
- Si l’objectif est C8, il vaut mieux éviter les lignes PCIe directement reliées au CPU
- Les lignes directes CPU correspondent au slot PCIe supérieur et aux slots M.2
- Les exceptions sont les cas où une faible latence et toute la bande passante directe CPU sont nécessaires, ou lorsque le périphérique reste actif et n’entre pas en veille
- Un wattmètre à la prise comme un Kill-A-Watt est indispensable pour vérifier la situation réelle
- Les métriques logicielles seules ne permettent pas de confirmer l’efficacité du PSU, la consommation en veille des disques, l’impact des périphériques USB ou celui de la sortie d’affichage
- D’après une mise à jour concernant les NIC Realtek, les noyaux Linux récents désactivent le mode d’économie d’énergie L1 sur la plupart des NIC Realtek, ce qui peut empêcher le CPU d’entrer dans les C-State appropriés et augmenter la consommation
- Il existe des contournements, mais à l’avenir le choix pourrait se limiter aux cartes mères équipées d’un adaptateur réseau Intel 1 Gigabit
- Le script mentionné dans les commentaires est disponible ici : RTL8125-ASPM.sh.txt
1 commentaires
Avis de Hacker News
Il existe un fil sur un forum allemand et un document Google Docs qui recensent des configurations à moins de 30 W, ce qui semble assez utile pour les personnes qui construisent un serveur domestique/NAS https://goo.gl/z8nt3A
À titre personnel, la configuration qui m’a offert le meilleur rapport prix/performances était : Fujitsu D3417-B2, Intel Xeon 1225 V5, 64 Go de RAM ECC, WD SN850x 2 To, Fractal Design Define Mini C, Pico PSU 120 W + alimentation Leicke 120 W, gestion à distance Intel AMT + MeshCommander
Je l’ai achetée d’occasion pour une bouchée de pain et j’y fais tourner Proxmox ; sans HDD, la consommation au repos est de 9,3 W. Avec 6 ports SATA et un port PCIe, on peut aussi ajouter du stockage ou faire du passthrough vers un GPU dédié
J’ai payé 380 € au total, mais ça peut être difficile à trouver. Ce n’est pas terrible pour l’encodage média, donc un Core i3 8100 ou mieux est préférable ; comme cartes alternatives, GIGABYTE C246N-WU2, Gigabyte C246-WU4, Fujitsu D3517-B, Fujitsu D3644 ainsi que la version 2021 de la Corsair RM550x méritent aussi d’être envisagées
Des stations de travail d’occasion bon marché comme le Dell T30 ou le Fujitsu Celsius W550 conviennent aussi comme serveurs. Côté Fujitsu, il s’agit d’une carte D3417(-A), qui utilise une alimentation propriétaire 16 broches plutôt qu’une ATX 24 broches ; les adaptateurs 24 broches vers 16 broches d’AliExpress sont un peu risqués et sont encore en cours de validation
Les options côté Ryzen sont rares, mais certains rapportent environ 16 W au repos avec un AMD Ryzen 5 PRO 4650G associé à une carte Asus PRIME B550M-A
Les cartes Fujitsu sont excellentes et très bon marché dans l’UE. Il existe même un cas de rétro-ingénierie de la licence KVM de la fonctionnalité de gestion à distance iRMC S4/S5 https://watchmysys.com/blog/2023/01/fujitsu-irmc-s4-license/
Les HDD ont de gros pics de consommation au démarrage, et s’il y en a plusieurs dans un RAID, ils peuvent démarrer en même temps et dépasser la puissance admissible
Les CPU AMD PRO prennent en charge l’ECC, ce que je considère comme indispensable pour une vraie machine. La plupart des composants de la carte sont désactivés, et on est proche du bas de gamme grand public en termes de qualité
J’apprécie que le GPU intégré soit plutôt correct lorsqu’il faut consommer davantage de puissance ponctuellement
Le matériel est excellent, mais si la gestion logicielle devient un travail en soi, il est difficile de justifier ce genre de configuration faite maison
Mon NAS Synology, avec 8 Go de RAM et un processeur J4150, fait tourner une quinzaine de conteneurs, Wireguard et DSM, l’OS de Synology, et reste généralement à 1 à 3 % au repos
Au final, c’est le logiciel qui fait la différence, et DSM a été son plus grand atout — et la plus grande surprise. J’utilise aussi TrueNAS comme second serveur de sauvegarde, mais il ne soutient pas la comparaison avec DSM
Il y a des moments où je n’ai pas envie de fouiller les logs et de procéder par essais-erreurs à cause d’une simple configuration CRON pour sauvegarder un fichier depuis un autre serveur ; avec DSM, il y a eu d’innombrables cas où ça a simplement fonctionné
Je pense que Synology rate une occasion, comme le Microsoft du monde des NAS, en ne permettant pas à DSM de tourner sur des plateformes non Synology, ou au moins en ne facilitant pas l’installation manuelle. DSM est un excellent OS qui pourrait se vendre de lui-même, et cela pourrait aussi conduire à des ventes additionnelles de produits comme Active Backup for Business
Xpenology est un bootloader pour DSM de Synology, et DSM est le système d’exploitation propriétaire basé sur Linux utilisé dans les NAS Synology
Avec Xpenology, on peut faire tourner Synology DSM sur des machines x86 comme un PC classique ou un NAS assemblé soi-même, ce qui permet d’utiliser les fonctions multimédias et cloud de DSM sans acheter de matériel Synology
Comme on peut choisir soi-même un processeur plus puissant et davantage de RAM, beaucoup le préfèrent pour des tâches comme le transcodage vidéo
Dès que l’on augmente ne serait-ce qu’un peu le choix des combinaisons matérielles, on provoque une explosion combinatoire qui rend impossible de tout tester
Un frontend Synology DSM placé devant du cloud IaaS pourrait être assez intéressant
J’ai configuré un DS1520+ avec cinq HDD Seagate Iron Wolf Pro de 16 To en RAID6, et je garde un HDD identique comme cold spare ; cela tourne parfaitement depuis deux ans
À l’inverse, mon historique d’installations Linux est tel que je casse tout rien qu’en respirant dessus : je suis pratiquement un film d’horreur ambulant de massacre de Linux
Cette année encore, ils vendaient des machines avec le noyau 4.4, et seuls les nouveaux modèles sortis cette année ont reçu le 5.10. Il est également impossible de mettre à niveau la version du noyau entre deux versions de DSM
L’auteur semble avoir monté environ 5 systèmes tous les deux ans entre 2016 et 2023
Certaines pièces, comme la RAM, ont été réutilisées sur plusieurs builds
La question qui se pose est de savoir combien coûtent respectivement le matériel et l’électricité sur toute la durée de vie. Une machine énergivore utilisée 4 ans peut être préférable à une machine basse consommation utilisée 2 ans
Actuellement, d’après pcpartpicker, la carte mère + le CPU coûtent 322 dollars, et à 0,25 dollar le kWh, faire tourner 36 W en continu pendant 4 ans coûte aussi environ 315 dollars
Ainsi, un système à 43 W utilisé 4 ans pourrait revenir moins cher, achat et exploitation compris, qu’un système à 7 W utilisé 2 ans
J’étends rarement le stockage. À ce moment-là, le réseau et les logiciels sont devenus obsolètes, donc j’en achète un nouveau, je reconvertis l’ancien en sauvegarde du nouvel équipement, puis je mets au rebut le matériel de sauvegarde encore plus ancien
Fait intéressant, ce cycle de mise à niveau s’est maintenu pendant 20 ans, ce qui rend l’amortissement facile à comprendre. Au total il sert 16 ans, mais en pratique 8 ans comme équipement principal puis 8 ans comme équipement de sauvegarde
Configuration : 7950X3D, X670E Taichi, 96 Go à 6400 MHz CL32, 2 x 4 To Lexar, 4 x 18 To Seagate Exos X18, RX570 8G, Proxmox
Au repos sans VM, c’est environ 60 à 70 W ; au repos avec une VM TrueNAS et les disques en rotation, 90 à 100 W ; avec TrueNAS et un Fedora Desktop en passthrough GPU, environ 150 W au repos
Je prévois de remplacer la RX570 par une 7900 XTX dans quelques semaines. La RAM ajoute beaucoup de consommation, et avec la DDR5, 3 à 5 W par tranche de 8 Go selon la fréquence est assez courant
Je m’attendais à ce que Proxmox + TrueNAS consomme autour de 50 à 100 W, mais je n’avais pas pris en compte la consommation de 96 Go de RAM
Ma configuration est la suivante : AMD Ryzen 7 PRO 5750GE, 128 Go d’ECC DDR4-3200, Intel XL710-QDA2, LSI 9500-16i, 8 HDD WD 16 To, 2 SSD M.2 NVMe SK Hynix P41 Platinum, 2 SSD U.2 NVMe Samsung PM9A3, 2 SSD SATA Samsung PM893
Il y a un BMC, et avec le double 40GbE, on peut maintenir environ 55GbE sur le réseau dans certains cas, mais la plupart du temps c’est 30 à 35GbE. TrueNAS SCALE tourne comme stockage pur pour le montage vidéo, un cluster Proxmox composé de machines 1L SFF en 5750GE avec 10GbE sert surtout à exécuter Apache Spark, et il y a aussi un cluster k3s de Pi4B 8 Go
Le stockage est hiérarchisé, donc les disques sont très peu sollicités et dorment la plupart du temps. Les données transitent principalement par les U.2, puis sont déplacées automatiquement plus tard. Les SSD SATA servent aux métadonnées, et le démarrage se fait depuis un SuperMicro SuperDOM
Le Zen 3 Ryzen PRO 5750GE est un produit presque mythique, mais sa consommation est très faible. Il a une consommation au repos minime, un GPU intégré et la prise en charge ECC, des fonctions de protection mémoire d’EPYC, et atteint environ 92 % des performances d’un 5800X tout en limitant la puissance du package juste sous les 39 W à pleine charge sur 8 cœurs / 16 threads
Le LSI 9500-16i fournissait les lignes nécessaires, c’est-à-dire 8 lignes PCIe et 16 SlimSAS, pour gérer deux U.2 enterprise et 8 HDD ; comme c’est un adaptateur récent, sa consommation au repos était aussi faible
La carte réseau Intel double QSFP+ a été choisie délibérément parce qu’avec des DAC cuivre passifs, on peut économiser 4 à 5 W par port entre la NIC et le switch. À ce débit, le fait que la latence soit plus basse qu’en optique compte aussi
Le gros consommateur, c’est l’ASRock X570D4U. Le BMC à lui seul consomme 3,2 W, et le X570 lui-même consomme aussi un peu. Malgré cela, le système complet est à 50 W au repos, 75 à 80 W sous la plupart des charges, et il pourrait théoriquement monter à environ 180 à 190 W si tout était à pleine charge
J’utilise aussi des DIMM DDR5 de 48 Go, et HwInfo indique un maximum de 6 W par module
Avec un NAS 847E16-RJBOD équipé de 44 HDD rotatifs, un switch 10GbE 48 ports POE+, deux onduleurs, de la supervision environnementale et un routeur DECISO OPNsense, je consomme en moyenne 1264 W, au point d’avoir l’impression d’être devenu une raffinerie pétrochimique
Un des onduleurs annonce 98 % d’efficacité selon le facteur de puissance, mais l’autre est à 91 %, ce qui n’est pas fameux
J’ai désactivé l’APM sur tous les HDD. Dans cette configuration, cela ne ferait qu’ajouter de la latence et de l’usure pour des économies d’énergie mythiques qui ne se matérialiseraient pas
SMART prédit rarement les pannes, mais l’un des signaux forts d’une défaillance de disque est une température légèrement plus élevée, généralement due à l’usure des roulements
Il y a assez de chaleur perdue pour qu’une pièce n’ait pas besoin de chauffage, et il n’y a pas vraiment de raison de maintenir la température ambiante du datacenter sous 27 °C, donc le refroidissement n’est pas forcément nécessaire
L’eau et les ordinateurs ne font pas bon ménage, mais ce serait peut-être une meilleure façon de valoriser cette chaleur perdue
La faible consommation, c’est bien, mais faire tourner un gros RAID sans ECC pendant longtemps, ça m’inquiète. Je me demande s’il existe une bonne solution comparable, mais plus robuste sur plus de 5 ans
Une X11SAE-F ou une X12SCA-F, voire quelque chose d’encore plus ancien, suffirait largement. La consommation ne sera peut-être pas extrêmement basse
De mon côté, j’utilise encore une X9SCA+-F avec un très vieux Xeon pour faire tourner mon NAS et des conteneurs LXC. La consommation au repos n’est pas de 5 W mais plutôt de 20 à 30 W, mais je n’ai jamais eu de problème, et je suis convaincu de l’avoir déjà largement rentabilisé
Les barebones sont bon marché, mais la mémoire ECC peut coûter cher, car ce n’est pas de la RDIMM serveur courante. Ce n’est pas non plus une configuration basse consommation
Pour monter jusqu’à gérer un boîtier de disques HDD ou un 4U complet, il faut des lignes PCIe. Dans ce cas, une combinaison w680, i5-12600K, une barrette ECC UDIMM, un HBA SAS dans un slot PCIe et l’Ethernet intégré serait probablement proche de la consommation minimale possible
C’est dommage que la plateforme w680 soit si chère ; am4/zen2 reste utilisable, car nettement moins coûteux
Xeon, Xeon embarqué, am5 et am4 sont aussi possibles, mais am4 peut ne pas avoir de GPU intégré
Faire tourner un RAID sans ECC pendant 5 ans n’est pas fondamentalement une erreur ; dans les faits, beaucoup de gens font ainsi et s’en sortent sans problème
Je ne connais pas la consommation individuelle, mais ce NAS, une machine de calcul i5 12400, le routeur et le switch consomment ensemble 100 W à la prise en fonctionnement de base. Il y a environ 30 conteneurs
Par rapport aux vieilles workstations que j’utilisais auparavant comme home server, je trouve ça extrêmement efficace
Cette carte semble prendre en charge l’ECC avec cette puce : Supermicro X13SAE W680 LGA1700 ATX Motherboard
Son prix est de 550 dollars
On peut aussi construire autour de ça et ajouter autant de disques NVMe que nécessaire avec une carte PCIe 4.0-NVMe. Ce n’est pas bon marché, mais ça reste envisageable pour un usage domestique
Bon article. J’avais déjà tenté quelque chose de similaire auparavant
https://vermaden.wordpress.com/2019/04/03/silent-fanless-fre...
https://vermaden.wordpress.com/2023/04/10/silent-fanless-del...
C’est excellent pour une configuration avec beaucoup de stockage
Si le stockage tient sur un seul SSD ou une paire en miroir RAID, et qu’il n’y a pas besoin de beaucoup de calcul, on peut faire un serveur basse consommation avec un ordinateur monocarte comme un RasPi ou quelque chose comme un NUC
Personnellement, j’utilise quelques serveurs Atom 1U, qui tournent sans ventilateur à part le remplacement du ventilateur de l’alimentation par un Noctua
Par rapport au RasPi, les avantages sont le SATA et la RAM ECC, et ils étaient aussi plus faciles à acheter pendant la période du Covid
J’ai aussi un serveur GPU 4U, mais je n’ai pas encore creusé la façon de le mettre dans un état de repos basse consommation comme l’auteur ; pour l’instant, je l’éteins quand je ne l’utilise pas
Je me demande pourquoi ne pas utiliser le N100
Le N305 conviendrait aussi à cet usage, et le N100 serait encore plus bas https://www.reddit.com/r/MiniPCs/comments/12fv7fh/beelink_eq...
De plus, le N100 ne prend en charge que 16 Go de RAM, alors que cette personne utilise 64 Go. Le nombre de lignes PCIe est aussi de 9 contre 20, ce qui peut être important selon le cas d’usage, et l’i5 semble globalement nettement plus rapide
Comparaison : https://ark.intel.com/content/www/us/en/ark/compare.html?pro...
Je me demande si, dans quelques années, il ne va pas avaler tout le marché des mini-PC. Ce serait d’autant plus plausible si les prix baissent au point de concurrencer les différents modèles de Pi
Il consomme entre 2 et 8 W, et utilise simplement un adaptateur 12 V ordinaire avec une prise barrel jack DC. Parfait pour Home Assistant et de la virtualisation légère
En pratique, ses performances sont meilleures que celles d’un mini-PC quad-core i5-6500. Il n’est absolument pas lent
C’est vraiment une petite machine étonnante pour son prix
Optimiser côté CPU/carte mère pour faire des économies, tout en utilisant en réalité 6 disques ou plus au lieu d’un plus petit nombre de gros disques, me semble relever un peu du mauvais calcul.
Comme les disques tombent en panne, il faut au moins un disque de réserve pour la redondance, et j’en recommande deux. Ainsi, même quand l’un tombe en panne, on peut continuer à faire tourner le système pendant son remplacement.
Avec 3 disques en miroir RAID-1, on finit par payer cher pour une capacité utile équivalente à un seul disque ; la plupart se tournent donc vers des variantes de RAID-5 à double parité.
Mais si l’on met plus de 6 disques dans ce genre de configuration, des problèmes de performances commencent à apparaître, et il peut même être préférable de faire du striping sur deux RAID. Au-delà de 6 disques, la probabilité que 3 tombent en panne devient difficile à ignorer, ce qui impose d’ajouter davantage de bandes de parité.
C’est pourquoi je considère que 6 disques constituent un bon compromis, même si d’autres réponses raisonnables sont tout à fait possibles.
Bien sûr, la quantité de données à stocker compte aussi. Pour beaucoup de gens, un seul disque moderne suffit, donc ils partent sur du RAID-1 ; la redondance sert surtout à éviter d’attendre une restauration depuis une sauvegarde hors site après une panne.