sisi - outil CLI de recherche d’images sémantique en local

• Outil CLI de recherche d’images sémantique en local, sans API tierce
• Crée un index d’embeddings d’images et effectue les recherches sur la base de node-mlx, un framework de machine learning pour Node.js
• Plateformes prises en charge
  • GPU : Mac Apple Silicon
  • CPU : Mac x64, Linux x64/arm64
• sisi index <target> permet de créer un index pour les images d’un dossier donné
• sisi search 'cat jumping' permet de rechercher des images contenant un contenu donné

Fonctionnement

• L’index calcule les embeddings d’images à l’aide du modèle CLIP d’OpenAI, puis les enregistre en JSON binaire
• La recherche d’images calcule la similarité cosinus entre la chaîne de requête et les embeddings indexés
• Il n’y a pas de base de données ; à chaque recherche, le calcul est effectué sur tous les embeddings enregistrés. C’est très rapide même avec des dizaines de milliers de photos
• L’implémentation JavaScript du modèle CLIP utilise frost-beta/clip