Déclaration sur la panne en cours de SourceHut

Disponibilité actuelle des services

• sr.ht : hors ligne
• meta.sr.ht : hors ligne
• git.sr.ht : hors ligne
• hg.sr.ht : hors ligne
• todo.sr.ht : hors ligne
• lists.sr.ht : hors ligne
• paste.sr.ht : hors ligne
• man.sr.ht : hors ligne
• pages.sr.ht : hors ligne
• builds.sr.ht : hors ligne
• chat.sr.ht : hors ligne
• Le stockage d’objets est actuellement indisponible, ce qui rend aussi inaccessibles pour le moment les releases jointes aux tags git et hg.
• hg.sr.ht présente des problèmes de performances connus ainsi que des problèmes liés à hg clone, et comme le service est maintenu par la communauté, les travaux de restauration sont suspendus jusqu’à l’intervention d’un mainteneur communautaire.

Mise à jour 2024-01-13 14:17 UTC

• Nous devons trouver un nouveau fournisseur de transit et sommes en discussion avec des prestataires pour atténuer le problème.
• Les travaux d’ingénierie vont commencer sous peu, et nous communiquerons d’autres informations s’il y a de nouvelles mises à jour.

Mise à jour 2024-01-13 13:00 UTC

• Le nouveau fournisseur de transit a signalé que l’attaque DDoS avait suivi vers le nouveau réseau.
• Le fournisseur a déployé des mesures d’atténuation et nous ne prévoyons pas d’interruption de service.

Mise à jour 2024-01-13 12:40 UTC

• Le service mail pour lists et todo a été rétabli.
• Les e-mails restés en attente pendant l’interruption vont maintenant reprendre leur traitement, et nous ne pensons pas que des e-mails aient été perdus.

Mise à jour 2024-01-13 11:42 UTC

• pages.sr.ht a été remis en service en mode lecture seule.
• Tous les domaines personnalisés devraient bientôt fonctionner, à l’exception de ceux utilisant un enregistrement apex.
• Les utilisateurs concernés devront intervenir manuellement.

Mise à jour 2024-01-13 11:00 UTC

• L’accès en lecture/écriture a été réactivé pour la plupart des services.
• hg est toujours en lecture seule, et todo ainsi que lists traitent les requêtes sur le web, mais le système mail est encore en cours de remise en service.

Mise à jour 2024-01-13 09:26 UTC

• hg.sr.ht a été remis en mode lecture seule.
• Nous travaillons aujourd’hui à réactiver l’accès en lecture/écriture pour les services disponibles.
• Nous avons terminé de récupérer les écarts depuis les sauvegardes de git.sr.ht, et ceux de hg devraient être finalisés sous peu.

Mise à jour 2024-01-12 20:49 UTC

• Nous effectuons les dernières tâches pour atteindre les objectifs du jour.
• Sept services principaux fonctionnent en mode lecture seule.
• Les problèmes précédents liés à git clone/fetch ont également été résolus.

Mise à jour 2024-01-12 16:38 UTC

• todo et lists ont été remis en ligne en mode lecture seule.

Mise à jour 2024-01-12 16:13 UTC

• Nous avons commencé à remettre certains services en ligne.
• meta et git devraient redevenir disponibles en fonction de la propagation DNS.

Qu’est-ce que SourceHut ?

• SourceHut est une entreprise fondée par Drew, actuellement en interruption de service.
• Réputé pour sa fiabilité, SourceHut traverse cette fois sa panne la plus grave et la plus longue à ce jour.
• L’équipe SourceHut met tout en œuvre pour résoudre le problème et rétablir les services aussi vite que possible.

Que se passe-t-il ?

• Une attaque par déni de service distribué (DDoS) visant SourceHut a commencé le 10 janvier à 06:30 UTC.
• SourceHut peut gérer les attaques DDoS classiques, mais celle-ci dépasse, par son ampleur, ce qu’il peut atténuer seul.
• Le fournisseur de réseau en amont a complètement bloqué SourceHut, empêchant à la fois Internet et le personnel de SourceHut d’accéder aux serveurs.
• Le datacenter PHL a été touché, et SourceHut loue un espace de colocation auprès du fournisseur de PHL.
• Après deux acquisitions successives du fournisseur de PHL, le compte de SourceHut a été omis lors de la migration du système de tickets, ce qui a initialement retardé la prise de contact avec le prestataire.
• La disponibilité de SourceHut a été partiellement rétablie dans la soirée du 10 janvier, mais au début du 11 janvier, l’intensification du DDoS a conduit le fournisseur à imposer de nouveau le blocage.

Quelles mesures prenons-nous ?

• SourceHut maintient trois sites (PHL, FRE, AMS), et PHL, site principal, est actuellement hors ligne.
• Lorsqu’il est devenu totalement impossible d’accéder à PHL, la restauration depuis les sauvegardes a commencé à AMS pour une installation parallèle de SourceHut.
• Les perspectives concernant la perte de données utilisateur sont bonnes, les sauvegardes étant exécutées et testées régulièrement.
• Les services SourceHut sont en cours de restauration à AMS, et meta, todo, lists, paste ainsi que le hub de projets fonctionnent pleinement avec les données de production.
• La priorité est donnée à la restauration de services tels que git.sr.ht, hg.sr.ht, pages.sr.ht, chat.sr.ht, man.sr.ht et builds.sr.ht.
• L’objectif est d’activer dès que possible un accès en lecture seule pour la communauté, puis de rétablir un accès complet en lecture/écriture.

Comment aider ?

• Ce dont nous avons le plus besoin, c’est de patience et de compréhension.
• Atténuer ce type d’attaque s’apparente à un marathon, et il faut veiller à ne pas épuiser le personnel.
• Vous pouvez partager des mises à jour et des messages de soutien sur Mastodon et sur le canal IRC #sr.ht de Libera Chat.

Avis de GN⁺ :

1. La situation actuelle de SourceHut est un événement important pour la communauté open source et les développeurs, car elle montre la vulnérabilité même de services fiables et l’importance de plans de réponse en situation d’urgence.
2. Cet incident souligne la gravité des attaques DDoS et la nécessité pour les entreprises de se préparer à des cyberattaques de grande ampleur.
3. La communication transparente de l’équipe SourceHut et ses efforts pour résoudre le problème inspirent confiance aux utilisateurs et montrent que le soutien et la patience de la communauté jouent un rôle important.

[GN⁺]

Commentaires sur Hacker News

• Le service a subi une attaque DDoS juste après avoir reçu de la police indienne une demande de données concernant un utilisateur précis. La police indienne affirmait que cela était lié au terrorisme, mais le service a expliqué qu’une procédure légale était nécessaire. Quelques heures plus tard, le service est tombé en panne, et l’incident a duré environ 12 heures. Aucune demande de rançon n’a été formulée, et trois causes possibles sont envisagées : la police/le gouvernement indien, l’utilisateur concerné à l’origine, ou une pure coïncidence.
• Lors de ma première semaine de travail sur un [grand dépôt de code public populaire], nous avons subi une attaque de la part d’un [acteur étatique]. Cela est interprété comme un signe positif que des forges alternatives comme SourceHut et Codeberg commencent à attirer l’attention.
• On comprend maintenant pourquoi Hacker News est tombé en panne le 10 janvier. C’était dû à une mesure excessive prise par Cogent pour atténuer l’attaque DDoS visant SourceHut.
• Tout en regrettant que l’équipe doive gérer une telle situation, certains saluent la manière dont elle communique avec ses clients.
• On espère que les employés de sr.ht géreront bien la migration AMS, et comme git est distribué, il a été possible de continuer à travailler sur tout, à l’exception des nouvelles releases logicielles, ces derniers jours.
• Après avoir contacté CloudFlare, une somme financièrement inabordable leur a été proposée, mais d’autres solutions sont recherchées, qui pourraient être rendues publiques sans risquer de révéler leurs plans aux attaquants.
• Il semble que des sites liés à l’open source, comme Godot, codeberg et sourcehut, soient en train d’être pris pour cible.
• Drew, fondateur de SourceHut, s’est excusé pour l’interruption du service et a reconnu que, pour SourceHut qui met en avant sa fiabilité, il s’agissait de la panne la plus grave et la plus longue à ce jour. Tous les employés font de leur mieux pour résoudre le problème.
• Des interrogations sont soulevées sur la motivation derrière cette attaque DDoS. Pourquoi mener une telle attaque malgré le risque de poursuites pénales ? Dans ce cas, ni le chantage ni le sabotage par un concurrent ne semblent très convaincants.
• En se posant la question « Et si le datacenter principal disparaissait demain ? », certains élaborent un plan sérieux en ce sens. Il est suggéré de conserver et synchroniser une réplique dans un autre datacenter afin de se préparer aux situations imprévues.