Résiliation du compte Kiwix par Hetzner et arrêt de tous les serveurs
(mastodon.social/@kiwix)- Kiwix indique que l’hébergement a été interrompu sans préavis le dimanche 1er décembre 2024 à 00:00, bloquant l’accès à la bibliothèque et les téléchargements de fichiers
- La cause était que Hetzner avait résilié le compte Kiwix et arrêté tous les serveurs ; Kiwix a même vérifié le dossier spam mais n’a trouvé aucune notification préalable
- Lundi matin, Kiwix a réussi à joindre Hetzner, mais n’a pas pu obtenir la raison de la résiliation, et s’est vu répondre que l’email que Hetzner disait avoir envoyé était impossible à renvoyer
- Une fois les données des serveurs déjà supprimées, Kiwix a restauré environ 8 To à partir de miroirs non affectés et de nouvelles machines chez Scaleway, et il a fallu environ 48 heures pour tout remettre en ligne
- Même l’email de résiliation partagé par la suite ne donnait aucune raison, et Kiwix dit vouloir examiner de nouvelles protections dans les limites de ses ressources à la lumière de cet incident
Service Kiwix interrompu à minuit dimanche
- Le dimanche 1er décembre 2024 à 00:00, l’hébergement des serveurs de Kiwix a été interrompu sans préavis
- Kiwix indique qu’à la lumière de cet incident, l’organisation ne recommande pas les services de Hetzner Online
- La coupure des serveurs a eu lieu à minuit dimanche, et Kiwix estime qu’il s’agissait d’une suppression de service planifiée du côté de Hetzner
- Le backend principal de stockage est devenu totalement inaccessible
- Les utilisateurs ne pouvaient plus accéder à la bibliothèque ni télécharger de fichiers
- Kiwix ne pouvait pas non plus se connecter au stockage pour identifier la cause
Résiliation du compte et suppression immédiate des données serveur
- Après vérification, Hetzner avait résilié le compte Kiwix et arrêté tous les serveurs
- Kiwix n’avait reçu aucun avertissement préalable et n’a trouvé aucune notification liée, même dans le dossier spam
- Il n’y avait personne de joignable le dimanche, et ce n’est que lundi matin que Kiwix a pu contacter Hetzner
- La raison de la résiliation n’a finalement jamais été expliquée
- Hetzner a répondu avoir envoyé un email
- Kiwix a demandé un renvoi, mais Hetzner a répondu qu’il était impossible de renvoyer cet email
- Entre-temps, tous les serveurs avaient déjà été supprimés, et Kiwix dit n’avoir eu aucun moyen de récupérer les données
Restauration via des miroirs et Scaleway
- Kiwix disposait de miroirs non affectés
- De nouvelles machines ont été obtenues chez un autre fournisseur, Scaleway
- Les données ont ensuite immédiatement commencé à être rapatriées vers un nouveau serveur Master
- Il a fallu environ 48 heures au total pour remettre en ligne environ 8 To de données
Faiblesses opérationnelles révélées et réponse prévue
- Cet incident a permis à Kiwix d’identifier plusieurs points de fragilité
- En même temps, l’organisation a constaté que les responsables de l’infrastructure étaient capables de basculer relativement vite
- Kiwix indique qu’au cours des prochaines semaines ou des prochains mois, l’organisation examinera comment mettre en place de nouvelles protections dans les limites de ses ressources
Email de résiliation partagé a posteriori
- Hetzner a ensuite partagé l’email de résiliation
- L’email se contentait d’indiquer que le compte Kiwix serait fermé à la fin du mois suivant
- Aucune raison n’y figurait, et selon Kiwix, la formulation ne laissait pas penser que Kiwix avait enfreint les conditions d’utilisation de Hetzner
- Kiwix dit que cet email lui a au moins permis de clore l’incident et de passer à autre chose
- Kiwix ajoute que le fait d’avoir signalé publiquement le problème sur Internet a été efficace
1 commentaires
Avis de Hacker News
Quand on demande à un CTO s’il a des sauvegardes ou un plan B, il répond souvent : « C’est sur AWS, on y fait aussi les sauvegardes, et une entreprise comme AWS ne fera jamais faillite. »
Je lui redemande alors ce qui se passe si le compte est fermé. Par exemple si le compte est associé à celui d’une entreprise qui vend des produits problématiques sur Amazon parce qu’elles utilisent le même numéro de téléphone, ou dans un cas comme celui d’il y a quelques années où GCP avait mal classé des images dans Drive et fermé un compte.
Les sauvegardes doivent se trouver à un autre emplacement, et Terraform doit aussi avoir été validé chez un autre fournisseur cloud. Sinon, on met toute l’entreprise en danger.
J’ajoute que mon propos n’est pas de critiquer Hetzner en soi. Je l’utilise depuis plus de 20 ans et, pendant tout ce temps, il est arrivé que des serveurs individuels soient suspendus, mais jamais que tout le compte soit résilié.
Au début, on nous a dit de quitter l’on-premise, peu importe le coût ; ensuite, il fallait être neutres vis-à-vis du cloud ; puis, à l’approche de l’échéance, c’est devenu : « La dette technique n’a pas d’importance, faites en sorte que ça tourne sur AWS le plus vite possible. »
Maintenant, c’est la panique à cause des coûts AWS, et, en plus du développement de fonctionnalités et de la maintenance, on se retrouve à porter en même temps la « neutralité cloud » et la « réduction des coûts du service sur tous les clouds ». Avec toute la dette technique et les bugs, les deux avancent au moins 10 fois plus lentement.
Il faut vraiment que je trouve vite un nouveau poste. Les dirigeants et le management supérieur gèrent l’entreprise de façon catastrophique. Chaque jour apporte une réaction improvisée de quelqu’un qui est déconnecté de la réalité ou qui comprend à peine comment ça fonctionne, et on accumule surtout des problèmes de procédure qui n’aident pas vraiment à résoudre les vrais problèmes.
En général, on obtient une réponse du genre : « C’est un outil intégré, pourquoi faudrait-il supposer qu’il est en panne ? » Puis, quelques mois ou années plus tard, quand on tente une restauration, on découvre que les données vraiment importantes n’ont en fait jamais été sauvegardées.
Google Cloud a accidentellement supprimé, plus tôt cette année, l’intégralité du déploiement cloud d’un fonds de pension australien. Si l’on veut des sauvegardes vraiment robustes, je pense qu’il faut au bout du compte pouvoir tout réduire à du stockage objet, et le placer dans le cloud d’une autre entreprise.
En plus, elle risque de rester sans tests et de s’avérer inutile au moment où on en aura le plus besoin.
J’ai bien tout sauvegardé manuellement de mon côté, mais c’est vraiment une très mauvaise situation.
Je laisse ceci ici parce que de fausses informations circulent à ce sujet. Le 30 octobre 2024, nous avons envoyé par e-mail un avis de résiliation, en indiquant le délai prévu par les conditions générales.
Notre équipe a déjà été en contact à plusieurs reprises avec ce client, et nous disposons aussi des journaux de transmission des communications. Vous pouvez être rassurés : nous ne fermons pas des comptes au hasard. Il y a toujours une raison concrète et légitime, comme un abus du service ou une violation des conditions générales.
Merci donc de respecter les conditions générales : https://www.hetzner.com/legal/terms-and-conditions/. --Katie, Hetzner Online
Ces dernières années, beaucoup de personnes en ligne ont affirmé que Hetzner avait fermé leur compte sans en donner la raison. Je pense que, dans la plupart des cas, elles ont volontairement omis certains éléments pour que cela ne ressemble pas à une violation des conditions générales.
Mais en tant que client Hetzner, même petit client, j’aimerais savoir que ces plaintes sont infondées et que je peux toujours faire confiance à cette entreprise.
Vous devriez avoir notre adresse, mais au cas où elle aurait été « perdue », merci de transférer l’e-mail du 30 octobre à contact @ kiwix.org.
Voici le point de départ de notre démarche, et la référence devrait permettre de le retrouver facilement :
C’est d’autant plus vrai si la notification n’a été faite que par e-mail, sans accusé de réception et sans tentative d’utiliser un autre moyen de contact. Est-ce votre procédure standard de supprimer définitivement les données dès que le service est interrompu ?
Les sauvegardes ne sont pas le point central ici. Bien sûr, les sauvegardes sont importantes, mais si Hetzner a réellement supprimé des données de production sans avertissement ni période de grâce pour migrer, ce n’est pas une base suffisamment fiable pour construire dessus.
C’est pour cette raison que je ne suis jamais devenu client de Google Cloud, et je ne déploierai pas de nouveaux serveurs chez Hetzner tant que Hetzner n’aura pas clairement expliqué ce qui s’est mal passé et ce qu’ils feront pour éviter qu’une telle erreur ne se reproduise.
Hetzner, la balle est dans votre camp.
Dire que « la balle est dans le camp de Hetzner » n’est pas forcément vrai non plus. Si l’on lit les conditions générales, elles disent qu’ils peuvent faire à peu près ce qu’ils veulent avec les serveurs.
La clause 2.7 indique : « Nous nous réservons également le droit de mettre fin à la relation contractuelle sans préavis en cas de motif valable ».
N’importe quelle entreprise, pour n’importe quel serveur, peut faire la même chose. Il y a beaucoup d’histoires d’Amazon ayant fait des choses similaires, et Google aussi.
À moins d’être en colocation ou de posséder le matériel soi-même, on peut se faire avoir de nombreuses façons. Je ne ferai jamais confiance à un hébergeur de serveurs dédiés.
Les plaintes disant que Hetzner a coupé le serveur de quelqu’un concernaient en général l’hébergement de contenus contraires aux conditions d’utilisation, ou des raisons similaires.
Mais ici, il semble s’agir de Kiwix, qui correspond à plusieurs formes de « Wikipedia hors ligne », et cela ne paraît pas lié à du contenu problématique.
J’imagine qu’on finira aussi par avoir le point de vue de Hetzner. En général, quand l’autre partie commence à s’exprimer publiquement, Hetzner se met aussi à écrire publiquement sur le problème.
Personnellement, j’utilise Hetzner avec satisfaction depuis des années, et je n’ai pas eu de problème qui ne soit pas de ma faute. Mais l’idée que des serveurs aient été supprimés en pleine nuit un dimanche, heure de Berlin, que les données aient été immédiatement effacées et qu’il n’y ait aucun recours, paraît assez agressive. Heureusement, il semble que Kiwix comme moi ayons des miroirs pour les données importantes.
Ils ont pu se baser sur une chaîne de caractères dans un nom de fichier arbitraire, ou, comme dans le cas récent d’une instance Mastodon, considérer comme risqué le seul fait que des utilisateurs puissent téléverser des images. Ce genre de fonctionnalité est courant, et il existait une modération et une stratégie pour agir si du contenu illégal était publié ; malgré cela, l’employé chargé de l’examen ce jour-là était à cran et il n’y avait aucun moyen de contester.
L’utilisateur télécharge d’abord Kiwix ou une extension de navigateur, puis télécharge avec Kiwix le contenu destiné à la consultation hors ligne [1].
« Notre backend principal de stockage est devenu totalement inaccessible. Pour les utilisateurs ordinaires, cela voulait dire qu’ils ne pouvaient pas accéder à la bibliothèque ni télécharger de fichiers ; pour nous, cela voulait dire que nous ne pouvions même pas nous connecter pour voir ce qui n’allait pas » [2].
Il est possible que quelques photos douteuses aient été mises en ligne sur Wikimedia, puis synchronisées automatiquement vers les serveurs Hetzner, déclenchant une alerte.
Il est difficile de juger la partie où Hetzner a supprimé les données, mais le fait qu’ils n’aient pas vraiment cherché à contacter l’équipe Kiwix est une réaction absolument désastreuse. Ils devaient pourtant savoir que c’était une équipe qui essaie de faire quelque chose de bien pour le monde. C’est du même ordre que Google qui bloque sans un mot l’accès d’un utilisateur à son compte, ou que les entreprises allemandes qui poursuivent les chercheurs leur ayant signalé des failles de sécurité.
Hetzner devrait avoir honte.
[0] https://en.wikipedia.org/wiki/Kiwix#Available_content
[1] https://en.wikipedia.org/wiki/Kiwix#Description
[2] https://mastodon.social/@kiwix/113622081750449356
Attendez, Hetzner a vraiment supprimé toutes les données sans avertissement ?
C’est complètement dingue et ça peut tuer une activité. Cela peut être catastrophique pour la réputation de Hetzner comme pour ses clients.
Mais c’est bon marché, et la plupart des gens qui cherchent à se renseigner sur l’entreprise ne tomberont sans doute pas sur les plaintes en ligne ; malheureusement, cela ne semble donc pas leur avoir causé de gros tort.
Le fait que Hetzner ait ce pouvoir et puisse supprimer des données de façon irrécupérable est effrayant.
L’an dernier, j’ai mal configuré les ports d’un service Docker, et quelqu’un en a profité pour lancer un scanner de ports. Comme j’étais absent de chez moi, si je n’avais pas vu à temps l’e-mail signalant l’abus du service, j’aurais pu rentrer quelques jours plus tard et trouver toutes mes données effacées, ou mon outil de surveillance de disponibilité en pleine crise.
Les entreprises allemandes ont un support client lamentable. Même au sein de l’UE.
Je n’ai pas de compte Mastodon pour répondre directement, donc je laisse ça à la personne qui devrait l’entendre
J’ai moi aussi déjà eu des problèmes avec du contenu retiré par un fournisseur de VPS
Ce qui a bien marché, c’était d’utiliser un fournisseur de VPS peu connu du grand public. Pendant un temps, j’ai utilisé OVH pour sa bande passante illimitée et parce que Wikipedia et Julian Assange l’utilisaient. Je ne sais pas si c’est encore le cas aujourd’hui, puis j’ai déplacé le contenu vers ENS et IPFS
Quoi qu’il en soit, peu importe où le contenu réel était hébergé, j’ai fait de mon « vrai » serveur l’origine du contenu et je l’ai caché pour qu’il ne soit pas visible de l’extérieur. Je l’ai verrouillé avec un pare-feu afin qu’il ne soit accessible que depuis des serveurs proxy Squid jetables avec un fichier de configuration de 10 lignes
Ensuite, j’ai pointé le DNS, Cloudflare, etc. vers les nœuds Squid, et je ne me souciais pas qu’ils tombent. Je pouvais en redéployer de nouveaux ailleurs en quelques minutes
Ce n’est pas qu’il y avait du « mauvais contenu », seulement un concurrent impitoyable qui s’acharnait comme Tonya Harding. Ton contenu ne me paraît pas non plus si agressif, donc je partage
Sur les nœuds VPS en frontal, il suffit d’indiquer l’adresse réelle du contenu comme origine distante. Ainsi, personne à part toi ne peut connaître son emplacement
En général, l’hébergeur ne saura donc pas de quoi il s’agit, sauf s’il fouille dans les fichiers. Et s’il le fait, il est lui aussi fini
Tu peux transmettre ça comme méthode pour éviter la censure, ou le garder pour toi comme une information propriétaire. Si tu as besoin d’un exemple de configuration Squid, dis-le-moi. C’est vraiment 10 lignes au maximum, et il y a plein d’exemples sur Google
La latence augmente aussi beaucoup, on ajoute des points de défaillance, et il faut synchroniser les IP « frontales » sur le « vrai » serveur pour autoriser l’accès. En plus, il faut trouver deux fournisseurs fiables, l’un pour le « vrai » hébergement et l’autre pour le « frontal ». Si tu utilises le même fournisseur, tu retombes sur le problème du post d’origine
Si ça fonctionne bien pour toi, tant mieux et félicitations, mais il est difficile de dire que ça résout le problème de beaucoup de gens. Je doute même que ça résolve vraiment le tien ; au fond, c’est similaire à utiliser quelque chose comme Cloudflare/Akamai, mais en montant manuellement un proxy sur un VPS
Ce n’est pas la première fois :
J’ai aussi eu une expérience négative ici. Quand quelqu’un envoie une demande pour violation de copyright, Hetzner ne contacte pas d’abord le client. Ils coupent simplement le serveur immédiatement et exigent une réponse
Ce n’est évidemment pas une procédure sensée, et je ne peux recommander Hetzner pour aucun système en production
Chaque fois que je vois un post sur Hetzner sur HN, ça me met en colère. Ce genre d’entreprise devrait être sur liste noire, pas promue
Je suis aussi curieux de savoir de quoi parlait le site web. J’ai déjà reçu des notifications disant que je devais répondre sous 24 heures, sinon le serveur serait supprimé. Mais comme j’ai toujours répondu et obtempéré, aucun serveur n’a jamais été supprimé
Si tu ne le fais pas, ça descend vers l’infrastructure. Toi, tu peux retirer un post, mais l’hébergeur ne peut pas retirer seulement le post ; il peut retirer le serveur. Et il doit le faire. Sinon, il risque des amendes ou de la prison
Il faut maintenant connaître toute l’histoire. Y avait-il un lien public pour les demandes de retrait DMCA, et la demande a-t-elle effectivement été traitée, mais le plaignant l’a ignoré pour aller directement chez Hetzner ? Ou bien exploitais-tu un serveur de contenu généré par les utilisateurs en te disant vaguement que « ça ira » ?
Je ne dis pas que tu as tort, mais tu ne racontes qu’une toute petite partie de l’histoire
Hetzner a gelé mon compte parce que je leur devais 0,02 euro
Je ne pouvais pas payer par carte de crédit VISA, carte de débit VISA ni Amex, et ils exigeaient un virement. Mais ma banque refusait un virement de 0,02 euro au motif que le montant était trop faible
Par pur entêtement, j’ai construit mon propre datacenter
S’il y a des détails que tu peux partager, je serais ravi de les entendre
Les gens n’aiment pas l’entendre, mais le support de Hetzner est médiocre
Nous avons gardé un compte pendant deux ans et utilisé plusieurs serveurs issus des enchères ; nous avons dû contacter le support à quelques reprises, et à chaque fois la conversation commençait par « ce n’est pas à nous de vous aider »
Ils disaient soi-disant n’aider qu’en cas de panne, mais même face à de vrais problèmes techniques — des NVMe devenus si lents qu’ils en étaient presque à l’arrêt, ou des problèmes réseau temporaires — ils se comportaient autant que possible en mode « ça ne nous concerne pas »
C’est pourquoi nous avons fermé le compte le mois dernier
Je n’ose même pas imaginer la douleur que cela aurait causée s’ils avaient supprimé toutes nos données comme ils l’ont fait pour l’OP