MemGPT - Des LLM dotés d’une mémoire auto-éditable pour un contexte infini

• MemGPT est un nouveau système qui gère la hiérarchie mémoire des modèles de langage (LLM) et fournit un contexte étendu dans la fenêtre de contexte limitée du LLM.
• Il permet des conversations ininterrompues en déterminant quand stocker et récupérer des informations importantes dans une base de données vectorielle.
• MemGPT peut être utilisé pour créer des chatbots dotés d’une mémoire auto-éditable.
• Le système MemGPT peut être testé sur Discord en envoyant un message au bot MemGPT dans le canal #memgpt.
• Pour exécuter MemGPT en local, l’utilisateur doit installer les dépendances, ajouter une clé API OpenAI à l’environnement, puis lancer main.py.
• Les utilisateurs peuvent créer un nouvel utilisateur initial ou un nouveau persona pour MemGPT en créant un nouveau fichier .txt dans /memgpt/humans/examples ou /memgpt/personas/examples.
• MemGPT prend en charge diverses commandes CLI, notamment /exit, /save, /load, /dump, /memory, /pop, /heartbeat et /memorywarning.
• Par défaut, MemGPT utilise gpt-4, il faut donc une clé API disposant d’un accès à l’API gpt-4.
• En cas de problème ou de demande de fonctionnalité, il est recommandé aux utilisateurs d’ouvrir une issue GitHub.
• Le jeu de données utilisé dans l’article MemGPT peut être téléchargé depuis HuggingFace.

[GN⁺]

Discussion sur Hacker News

• Les auteurs de MemGPT sont disposés à répondre aux questions sur l’implémentation
• MemGPT dispose d’un bot Discord qui montre en temps réel l’édition de la mémoire
• Le code de MemGPT est open source et disponible sur GitHub
• Un commentateur propose de paralléliser plusieurs requêtes vers d’autres agents pendant les étapes de prétraitement et de post-traitement
• Un autre commentateur suggère d’utiliser un échantillonnage fondé sur une grammaire afin de garantir que les appels de fonction soient syntaxiquement corrects
• Certains commentateurs expriment leur enthousiasme pour le projet, qu’ils considèrent comme une caractéristique fondamentale des futurs chatbots
• Les auteurs ont dévoilé un chatbot Discord persistant implémenté au-dessus de MemGPT
• Certains commentateurs estiment que la fenêtre de contexte est la plus grande limitation des LLMs
• Il y a un débat autour du choix du titre par les auteurs
• Un commentateur critique l’approche, affirmant qu’elle repose sur l’hypothèse que le contexte existant est composé d’un contexte résumable à faible entropie et que chaque requête ne dépend que d’une partie de l’historique. Selon lui, cela n’est pas toujours vrai, en particulier dans le contexte de la génération de code.