- Application qui collecte et analyse automatiquement des fichiers de logs depuis AWS et d’autres services cloud
- Fonctionnement
- Utilise boto3 (AWS) et des fichiers d’inventaire Ansible (autres clouds) pour établir des connexions SSH vers des machines distantes
- Télécharge les fichiers de logs spécifiés, les analyse et les met en file d’attente pour insertion dans la base de données
- Insère dans SQLite les entrées de logs analysées depuis la file via SQLAlchemy
- Traite et analyse les entrées de logs stockées dans la base. Fournit des fonctions pour trouver les éléments d’erreur et créer des vues de données agrégées selon des critères définis
- Récupère et traite les données d’activité réseau depuis chaque machine distante
- Partage la base de données sous forme de web app avec Datasette
1 commentaires
Comme souvent avec ce genre d’articles, il faut garder à l’esprit que c’est un peu survendu.
Quoi qu’il en soit, ce n’est sans doute pas parfait, mais selon l’usage, un simple script peut effectivement remplacer un système coûteux.
Ce n’est pas parce qu’on adopte un outil cher que tout se fait automatiquement.
Datasette - entrepôt de données personnel open source