Show HN : Khoj - discuter hors ligne avec un second cerveau à l’aide de Llama 2

• Khoj : assistant personnel IA pour rechercher et discuter avec des notes, des documents et des images.
• Application pensée d’abord pour un usage hors ligne, utilisable sans connexion Internet.
• Khoj : outil open source accessible depuis Emacs, Obsidian ou un navigateur web.
• Prend en charge divers types de fichiers : jpeg, markdown, notion, org-mode, fichiers pdf et dépôts github.
• Retrouvez des documents pertinents et obtenez des réponses en langage naturel avec Khoj.
• Configurable pour un usage hors ligne, un outil pratique sans Internet.

[GN⁺]

Commentaire Hacker News

• La page d’accueil du site ne mentionne pas le cas d’usage hors ligne de Llama, et ne parle que d’un usage en ligne via OpenAI.
• La taille des modèles de Llama 2 et leur fine-tuning consomment beaucoup de RAM sur des appareils grand public.
• Retour sur la page d’accueil : utilisez un conteneur à hauteur fixe pour les prompts d’exemple afin d’éviter les problèmes de défilement.
• Llama 2 a provoqué des problèmes de performances sur un petit Macbook Air M2.
• Ce projet a le potentiel de résumer l’historique web et d’évoluer en IA personnelle.
• Ce serait bien si Llama pouvait indexer des PDF et faire de l’OCR pour l’indexation de documents.
• Il existe une méthode prise en charge pour changer le modèle utilisé pour l’inférence locale dans Llama.
• Llama 2 a des cas d’usage suffisamment utiles pour ne pas être moins rentable que ChatGPT.
• Le message de Khoj s’est amélioré par rapport à ce qu’il était auparavant sur Hacker News.
• Llama est utile pour les personnes qui utilisent Obsidian et expérimentent avec des chatbots IA.
• Des fonctionnalités de recherche incrémentale ainsi que des détails d’implémentation ont été demandés.
• Une interface de connecteurs de données facilement extensible serait utile pour se connecter à des sources de données personnalisées.