Projet de construction d’un propre centre de données

• Si vous voulez construire votre centre de données

  • Railway a construit dès le départ son infrastructure de calcul sur Google Cloud Platform. Mais cela a entraîné divers problèmes liés aux prix, au niveau de service et aux contraintes d’ingénierie. Pour résoudre ces problèmes, l’entreprise a lancé le projet Railway Metal et construit son premier site en Californie.

• Si vous voulez construire un cloud

  • Le projet Railway Metal a démarré en janvier 2024, et il a fallu cinq mois pour installer le premier serveur. Il a fallu trouver un espace et prendre en compte l’alimentation électrique ainsi que le refroidissement. Parmi trois grandes options, l’entreprise a choisi la « cage colocation ».

• Un grand pouvoir implique de grandes responsabilités

  • Lors de la planification d’un déménagement vers un centre de données, il faut prendre en compte la capacité de calcul nécessaire. La densité électrique est un facteur important, et une redondance de l’alimentation est nécessaire. L’alimentation est distribuée via des Power Distribution Unit (PDU).

• Que la lumière soit

  • La connectivité réseau est essentielle, et l’entreprise a signé avec différents ISP afin d’obtenir les meilleurs chemins réseau. Elle choisit les ISP adaptés à chaque région et met en place de la redondance sur plusieurs zones géographiques.

• Allées, racks et infrastructure en surplomb

  • Dans un centre de données, les racks sont disposés en rangées, et des allées sont nécessaires pour la circulation de l’air. Il faut aussi tenir compte de la taille des racks et de la gestion des câbles. L’alimentation et le refroidissement peuvent devenir des contraintes plus fortes que l’espace.

• Racks et empilement

  • Un câblage propre demande beaucoup de pratique et l’aide de spécialistes. L’installation est planifiée à l’aide d’une matrice de câblage et de documents d’élévation de rack. L’installation prend entre 6 et 14 jours.

• Appuyer sur l’accélérateur de Metal

  • La cage installée est comme une toile vierge : il faut configurer les équipements réseau, paramétrer les routeurs, mettre à jour les enregistrements RIR, etc. L’entreprise construit un réseau logiciel L3 uniquement avec FRR et SONiC.

  • Dans un prochain billet, l’entreprise expliquera comment transformer les serveurs en une zone Railway fonctionnelle. Elle a développé deux outils logiciels, Railyard et MetalCP, pour simplifier la conception de nouvelles cages, la visualisation du câblage et l’installation de l’OS sur les serveurs.

[GN⁺]

Commentaires sur Hacker News

• Mise en doute de la raison pour laquelle on appelle la « colocation » « construire son propre centre de données ». En réalité, cela revient simplement à installer des serveurs dans des racks
• Souvenirs d’anecdotes amusantes de l’époque de Rackspace
  • Incident où des employés d’EMC ont renversé une baie de serveurs pendant l’installation d’un équipement de stockage
  • Incident où un centre de données est passé hors ligne à cause d’une crise cardiaque du chauffeur du camion
  • Expérience de transmission de bande passante vers un autre bâtiment à l’aide de lasers
  • Cas où des serveurs ont brisé des fenêtres à cause d’un incendie, entraînant l’achat de ventilateurs box fan
• Mention que la technologie des centres de données a beaucoup progressé, avec partage d’une expérience de collaboration avec Facebook
• Signalement du manque de support client chez Google
• Partage d’une expérience de construction d’infrastructure chez Blekko
  • La colocation physique était importante pour gérer le trafic réseau « east west »
• Insistance sur l’importance de calculer la capacité HVAC « CRAC » d’un centre de données
• Expression d’un mécontentement envers le service client de Google
  • Comparaison avec le support client d’AWS et de Microsoft
• Mention de la nécessité d’outils comme Netbox
• Partage d’une expérience de déploiement de centres de données entre 2003 et 2010
  • Insistance sur l’importance de la gestion des câbles et de la standardisation
• Insistance sur l’importance de la section « WTF » d’un centre de données
• Partage d’une expérience d’exploitation de VM via colocation afin de réduire les coûts AWS
• Insistance sur l’importance de posséder ses actifs en tant qu’entreprise d’infrastructure
  • Explication de la raison pour laquelle Cloudflare peut proposer des services gratuits
• Insistance sur l’importance de la gestion des câbles
  • Mention de la nécessité de faire attention lors de l’utilisation mixte de câbles cuivre et fibre optique