Projet ArchiveTeam Warrior

 (warrior.archiveteam.org)
1 points par GN⁺ 2024-08-04 | 1 commentaires | Partager sur WhatsApp
  • ArchiveTeam Warrior est un outil d’archivage virtuel qui permet de participer aux activités d’ArchiveTeam pour préserver des données web susceptibles de disparaître, en utilisant les ressources disponibles de son ordinateur personnel
  • Warrior télécharge des sites puis les envoie vers les archives d’ArchiveTeam, tandis que l’utilisateur fournit principalement de la bande passante et un peu d’espace disque
  • Il fonctionne sous Windows, OS X et Linux, et l’environnement recommandé est VirtualBox, même si VMware ou des logiciels de machine virtuelle similaires peuvent aussi être utilisés
  • Dans VirtualBox, il suffit d’importer l’appliance, de démarrer la machine virtuelle, puis de configurer dans le navigateur le nom d’utilisateur et le projet auquel participer
  • La dernière appliance de machine virtuelle est la version 4.1, et il est aussi possible d’exécuter le projet avec une instance Docker de Warrior au lieu d’une VM

Ce que fait ArchiveTeam Warrior

  • ArchiveTeam Warrior est un outil basé sur une machine virtuelle pour participer aux activités d’archivage web d’ArchiveTeam
    • Il télécharge les données des sites et les envoie vers les archives d’ArchiveTeam
    • Le processus d’exécution est conçu pour permettre une participation simple
  • Warrior fonctionne comme une machine virtuelle, et l’utilisateur fournit de la bande passante ainsi qu’un peu d’espace disque
  • L’environnement d’exécution prend en charge Windows, OS X et Linux
    • VirtualBox est recommandé
    • VMware ou des programmes similaires peuvent également être utilisés

Installation et procédure de participation

  • Démarrer avec VirtualBox

    • Télécharger le fichier appliance
    • Dans VirtualBox, sélectionner File > Import Appliance puis ouvrir le fichier
    • Au démarrage de la machine virtuelle, les dernières mises à jour sont récupérées, puis une invitation à ouvrir le navigateur web s’affiche

  • Configuration de Warrior

    • Accéder à http://localhost:8001/ et consulter la page Settings
    • Si vous choisissez un nom d’utilisateur, votre progression s’affichera dans le leaderboard
    • Dans l’onglet All projects, vous pouvez choisir le projet sur lequel travailler, ou sélectionner ArchiveTeam’s Choice pour être automatiquement affecté au projet le plus urgent

  • Dernière version et alternative Docker

    • L’appliance de machine virtuelle Warrior a été mise à jour vers la version 4.1, et l’ancien lien vers l’appliance warrior3 est obsolète
    • Il est également possible d’exécuter le projet avec une instance Docker de Warrior sans utiliser l’appliance VM ; pour plus de détails, voir le README du GitHub repository
    • Les problèmes ou retours sont traités sur le canal #warrior de hackint
    • Vous pouvez consulter la Frequently Asked Questions

Soutenir ArchiveTeam et Internet Archive

  • Internet Archive héberge les archives d’ArchiveTeam et, au-delà du simple stockage des données, maintient une bibliothèque accessible gratuitement à tous
    • Il est possible de faire un don via Donate to the Internet Archive
    • Pour le prêt de serveurs destinés à ArchiveBot, à des serveurs rsync, ou pour les dons des membres d’ArchiveTeam, il faut se renseigner dans les salons IRC appropriés

Projets auxquels il est possible de participer

  • Les projets actuels incluent URLTeam 2, URLs, Blice, Tenor, KakaoTV, Wikimedia Etherpad, Medica Bibliothèque Numérique, Recursive Jobs, Roblox Groups, Peing-質問箱-, Microsoft Update, Meta Ad Library, Twitch, Radio Free Asia, Radio Free Europe/Radio Liberty, Voice of America, US Government, Blogger, Telegram, YouTube, GitHub, MediaFire, Pastebin, Imgur, ВКонтакте, Stack Exchange et Periscope
    • Le projet YouTube archive une sélection de vidéos YouTube, avec un avertissement indiquant que les adresses IP sont enregistrées dans les URL des vidéos
    • Le projet GitHub est mené en coopération avec Internet Archive et GitHub
    • Le projet Periscope est en état PAUSED

À lire aussi

1 commentaires

 
GN⁺ 2024-08-04
Avis sur Hacker News

  • Ce genre de projet est indispensable, mais il faut aussi trouver comment rendre ces données réellement utilisables par le public, au-delà de la simple conservation.
    Reddit n’aurait sans doute pas perçu comme une menace le simple fait que quelqu’un scrape les données pour créer une sauvegarde difficile d’accès, mais un réseau distribué de nœuds faisant tourner des copies partielles de Reddit et fournissant les données à des clients local-first ou à des miroirs Lemmy lui aurait fait beaucoup plus peur.

    • La plupart des projets créent des fichiers WARC, les regroupent, les téléversent sur archive.org, puis les font intégrer à la Wayback Machine : https://web.archive.org/
      À noter qu’Archive Team est distinct de l’Internet Archive.
    • Reddit détestait pas mal les services qui mettaient en miroir ses données et les rendaient publiques, et a fini par modifier ses conditions d’utilisation de l’API pour forcer ces services à supprimer les données et à fermer.
    • Je ne suis pas sûr que menacer une entreprise qui peut changer son API à tout moment soit ici un avantage.
      Il suffit de regarder PushShift, Nitter, Youtube Vanced.
    • On peut rêver d’un Internet P2P temporaire, offline-first, qui rendrait BGP obsolète et utiliserait, via DHT/machines virtuelles, une mémoire d’adressage de contenus/calculs partagés et mémorisés globalement.
      L’identité d’une chose serait alors sa composition même.

  • Articles liés :
    ArchiveTeam Warrior : archiver imgur autant que possible - https://news.ycombinator.com/item?id=35983510 - mai 2023, 2 commentaires
    Help preserve the internet with Archiveteam's warrior - https://news.ycombinator.com/item?id=30524842 - mars 2022, 51 commentaires
    ArchiveTeam Warrior backing up Reddit - https://news.ycombinator.com/item?id=29584622 - décembre 2021, 71 commentaires

  • Je me suis dit que ça devait pouvoir tourner avec Docker, alors j’ai cherché le dépôt, et bonne surprise : tout était déjà prêt.
    https://github.com/ArchiveTeam/warrior-dockerfile/tree/maste...
    https://github.com/ArchiveTeam/warrior-dockerfile/blob/maste...

  • La configuration est très simple.
    Comme mon forfait Internet est désormais illimité, j’étais content de pouvoir contribuer, même modestement.
    J’ai essayé de voir s’il était possible de faire tourner les scripts ArchiveTeam Warrior sur un vieux téléphone Android, mais ce n’est pas directement pris en charge et c’était au-delà de mes compétences.

    • Le faire tourner comme conteneur docker compose sur une machine x86 a vraiment été simple.
      J’aimerais avoir le temps de voir comment le configurer dans QEMU sur un Raspberry Pi, et si un tel fichier compose était publié, davantage de gens pourraient sans doute l’utiliser.

  • Il y a quelques mois, j’ai conçu un système permettant aux gens de contribuer de l’espace disque à des services comme archive.org.
    Si quelqu’un dit « je veux héberger 100 Go de contenu archive.org », le système communique avec archive.org, trouve les contenus actuellement les plus rares et les pousse vers l’utilisateur.
    Il y a aussi une fonction de recherche permettant de dire « je veux recevoir le contenu X sur ce réseau » et de le trouver.
    C’est surtout un fin wrapper au-dessus de torrent, mais aujourd’hui il n’existe rien de ce genre, et quand j’ai contacté des personnes du monde de l’archivage, cela n’a pas suscité beaucoup d’intérêt.

    • IPFS n’était-il pas censé faire ça à l’origine ?
    • Archive Team avait en fait un projet abandonné, INTERNETARCHIVE.BAK, qui correspondait à cette idée.
      Mais utiliser cet outil vous ferait enfreindre la loi pour violation du droit d’auteur.
    • libgen a un tracker de ce type pour les livres : https://phillm.net/libgen-seeds-needed.php
      Il semble cassé actuellement.
    • J’aurais aimé qu’une des cryptomonnaies de stockage résolve ce problème.
      Il suffirait d’héberger des blocs de données contre paiement, pour une durée fixe et un nombre fixe de téléchargements.
    • C’est une très bonne idée ; je me demande pourquoi elle n’a pas été adoptée.
      Ont-ils donné une raison ?

  • Si vous voulez contribuer à la préservation numérique, cela vaut la peine d’envisager de faire tourner l’appliance Warrior ou un conteneur Docker.

  • Je ne vois pas bien l’avantage de faire télécharger des sites par des gens, puis de les faire téléverser avec la configuration d’archivage mise en place par Archive Team.
    En quoi est-ce mieux qu’Archive Team télécharge directement le site et le place dans ses propres archives ?

    • A) Cela demande moins de ressources du côté d’Archive Team.
      B) Plus important sans doute, les requêtes sont distribuées depuis plusieurs endroits, ce qui réduit le risque de limitation de débit ou de blocage.
    • Archive Team n’est pas Internet Archive.
      Il faut d’abord un endroit où télécharger les données avant de les pousser vers archive.org.

  • Je me demande comment ce projet empêche un attaquant comme moi d’insérer des données aléatoires sans valeur, ou de modifier de façon incorrecte les pages téléchargées d’une manière précise
    En HTTP, cela semble impossible, et en HTTPS, qui fait la terminaison TLS ?
    Si Warrior n’est qu’un simple proxy TCP et qu’Archive est le client TLS, cela pourrait être sûr, mais https://wiki.archiveteam.org/index.php/ArchiveTeam_Warrior ne semble pas expliquer clairement ce point

    • Il ne l’empêche pas, mais en pratique ce n’est pas un problème
      L’objectif est de récupérer un maximum de données en un minimum de temps avant que le site ne disparaisse
      Mieux vaut accepter 1 % de données sans valeur mélangées que perdre 30 % d’efficacité d’archivage à cause de la paranoïa
      Dans le cas de HTTPS, Warrior exécute littéralement wget, enregistre le résultat dans un fichier WARC, puis téléverse ce fichier vers le serveur de suivi

  • J’aimerais contribuer avec un Raspberry Pi, mais l’absence de prise en charge d’ARM est un peu gênante
    J’aimerais simplement télécharger le conteneur, l’exécuter et en rester là, mais il n’y a pas de solution de contournement simple : https://wiki.archiveteam.org/index.php/ArchiveTeam_Warrior#C... ?

    • Compiler wget-at pour ARM entraîne quelques problèmes de cohérence
      Cela dit, il peut être exécuté sous l’émulation en mode utilisateur de QEMU, et c’est effectivement ainsi qu’il est utilisé sur quelques hôtes

  • En lisant le README, j’ai trouvé l’indication suivante
    Version 4 is now available at
    https://warriorhq.archiveteam.org/downloads/warrior4/
    On y trouve un README contenant le lien vers le code source de la nouvelle version : https://github.com/ArchiveTeam/warrior4-vm
    Cette nouvelle version est également mentionnée sur la page d’accueil du wiki
    An updated Warrior virtual appliance (v3.2, v4.0) is now available with better support for newer projects that utilize wget-at.
    ArchiveTeam devrait mettre à jour l’URL de téléchargement de l’appliance