Comment Clawdbot gère la mémoire : une architecture de mémoire hybride basée sur Markdown

Résumé :

• Clawdbot est un assistant IA local open source qui stocke et gère la mémoire à long terme de l’utilisateur sous forme de fichiers Markdown dans l’environnement local, sans dépendance au cloud.
• Grâce à un système de mémoire à deux niveaux (journaux quotidiens et connaissances à long terme) et à une recherche hybride (vecteur + mot-clé), il permet une récupération efficace de l’information même dans des contextes de grande taille.
• Pour dépasser les limites de la fenêtre de contexte, il utilise des techniques de « compaction » et de « pruning » afin d’optimiser les coûts tout en maintenant les performances.

Résumé détaillé :

1. Vue d’ensemble et philosophie de conception
   Clawdbot gère tous les souvenirs sous forme de fichiers Markdown dans l’espace de travail local afin de rendre à l’utilisateur la propriété de ses données. La transparence constitue une valeur centrale : le système est conçu pour permettre à l’utilisateur de lire, modifier et versionner directement les fichiers mémoire.

2. Structure mémoire à deux niveaux
   La mémoire est divisée en deux couches principales :

• Couche 1 (Daily Logs) : le fichier memory/YYYY-MM-DD.md enregistre le résumé des conversations du jour, les décisions prises et les préférences de l’utilisateur.
• Couche 2 (Long-term Knowledge) : le fichier MEMORY.md stocke les faits essentiels qui doivent persister au fil des sessions, les décisions de projet et le profil utilisateur stable.

3. Moteur de recherche hybride (Hybrid Search)
   L’agent utilise l’outil memory_search pour interroger la mémoire uniquement lorsque c’est nécessaire :

• Recherche sémantique (Vector Search) : trouve des contenus sémantiquement similaires via des embeddings (avec SQLite-vec).
• Recherche par mots-clés (BM25) : utilise en parallèle le moteur FTS5 pour retrouver des noms propres précis, des dates, des ID, etc.
• Calcul du score final : une pondération (0.7 * score vectoriel) + (0.3 * score textuel) est appliquée pour améliorer la précision.

4. Techniques de gestion du contexte

• Compaction : lorsque la limite de contexte est atteinte, les conversations précédentes sont remplacées par un résumé. En particulier, l’étape de « Memory Flush » enregistre à l’avance dans les fichiers Markdown les informations importantes avant le résumé, afin d’éviter toute perte d’information.
• Pruning : les résultats d’exécution d’outils inutilement longs, comme les sorties de logs volumineuses, sont tronqués pour économiser des tokens. Cela inclut une logique de suppression intelligente prenant en compte le TTL du prompt caching d’Anthropic.

5. Stack technique et flux de données

• Stockage : fichiers Markdown locaux (source de vérité) et SQLite (pour l’indexation).
• Workflow : détection des changements de fichiers (Chokidar) -> chunking (unités de 400 tokens avec chevauchement de 80 tokens) -> embeddings -> stockage dans SQLite.