Y a-t-il des personnes qui exploitent à grande échelle sans utiliser de technologies de conteneurs ?

Question et réponses publiées sur HN

• Exploitation avec Nix de milliers de cœurs CPU et de centaines de types de pipelines de données pour traiter chaque mois des pétaoctets de données
• Avant son rachat par Facebook, WhatsApp fonctionnait sur des serveurs bare metal avec FreeBSD. BEAM et le code applicatif étaient déployés via rsync
• Grooveshark gérait 45M MAU avec seulement un petit nombre de serveurs physiques. nginx + PHP + MySQL + Memcached + un serveur de messagerie temps réel écrit en Go
• En 2010, le système d’analyse de MySpace tournait sur 14 instances EC2, et le service de streaming d’ESPN gérait aussi des millions de connexions simultanées uniquement avec des VM. Un site web à 45M de visiteurs mensuels tournait également sur une seule instance EC2
  → K8s + Docker sont bien plus lourds qu’on ne le pense généralement
• Fly.io fournit des conteneurs à ses clients, mais en utilise peu dans sa propre infrastructure (hors serveurs API destinés aux clients, etc.)
• The Guardian utilise des centaines d’instances EC2 en y installant des images EC2 construites à partir d’images officielles (mise en place avant que Docker ne devienne de facto la norme). Une migration vers Docker a été envisagée, mais comme la stack est basée sur la JVM, l’usage de Docker n’apporte pas de grand avantage
• Environ 200 serveurs sont gérés sur bare metal avec Ansible. Les images sont gérées via un démarrage PXE. Avec une image Arch Linux personnalisée et quelques scripts, cette méthode fonctionne très bien depuis 20 ans
• Stack Overflow n’utilisait pas de conteneurs jusqu’en 2016
• Utilisation de FreeBSD Jails et d’un outil léger d’orchestration écrit en Rust. Exploitation de centaines de machines Ryzen 64 cœurs, avec un coût d’environ un sixième de celui d’Amazon et des performances nettement supérieures

[tribela]

J’utilise Docker pour la facilité de gestion, mais Kubernetes est dans la plupart des cas surdimensionné. Même en exploitant plusieurs nœuds, j’estime que, dans la majorité des cas, le niveau de Docker Swarm suffit à tout couvrir.

[alstjr7375]

C’est un article que j’ai vu récemment sur HN.
À l’inverse, il donne des conseils pour exploiter Kubernetes avec de hautes performances.
https://medium.com/pinterest-engineering/…

[ifmkl]

La notion de « grande échelle » varie selon les critères, mais le HPC a de toute façon longtemps été exploité sur une base bare metal.. Dans mon ancien poste, nous avions monté et exploité une infrastructure HPC représentant 50 baies de 42U. C’était surtout un problème d’exploitation. Quand un incident survenait, il suffisait de chercher du côté du matériel existant, de l’OS, de Grid Engine et des scripts utilisateur ; il n’y avait pas de raison d’élargir encore le périmètre jusqu’aux conteneurs...