Une passerelle Codex + embeddings locaux pour Honcho créée avec du vibe coding

(Ce projet a été réalisé avec du vibe coding.)

Bonjour ! Je suis étudiant en master/doctorat dans le domaine de la pharmacie, et je lis régulièrement GeekNews avec plaisir.

C’est ici que j’ai découvert Hermes Agent, que j’utilisais bien pour mes recherches, puis j’ai appris qu’il était possible d’utiliser en plus un adaptateur de mémoire appelé Honcho.
Mais en regardant de plus près, j’ai vu que cela ne consommait pas le quota d’abonnement Codex : le fonctionnement repose plutôt sur l’envoi de requêtes API facturées au token. Je me suis donc inquiété des frais supplémentaires. J’avais un peu peur de l’utiliser sans réfléchir et de voir disparaître mon maigre salaire d’étudiant-chercheur.

Je suis donc parti de l’idée utilisée par Hermes Agent, qui permet d’exploiter le quota Codex inclus dans l’abonnement ChatGPT comme s’il s’agissait de requêtes facturées au token,
et j’ai créé une sorte d’adaptateur qui remplace le backend Honcho par l’abonnement Codex.

Voici son fonctionnement.

1. En examinant le mode de fonctionnement de Honcho, j’ai constaté qu’avec la configuration par défaut, l’évaluation de l’importance des souvenirs envoie des requêtes à OpenAI GPT 5.4 mini, et que les embeddings destinés à la recherche utilisent également un modèle d’embedding OpenAI.
2. J’ai donc utilisé le code OAuth Codex de Hermes Agent pour faire en sorte que les réponses ressemblent à celles de l’endpoint OpenAI, et j’ai modifié la partie Embedding pour utiliser localement BGE-M3 fp16.gguf via llama.cpp.
3. La dimension des embeddings était par défaut de 1536, mais comme il existe peu de modèles publics en 1536 dimensions, j’ai utilisé BGE-M3, qui est un modèle en 1024 dimensions.
4. Comme Honcho prend en charge les serveurs locaux dans sa configuration, j’ai d’abord installé la stack Docker honcho-codex-gateway, puis fait en sorte que la stack Docker Honcho d’origine se connecte au serveur qui y est lancé.
5. De plus, comme la méthode de tokenisation de Honcho diffère de celle de bge, ce qui provoquait des problèmes de longueur, j’ai fait en sorte que le chunking fonctionne en effectuant la tokenisation avec bge-m3.

Comme je ne suis pas très sûr de moi pour écrire du code, j’ai utilisé Hermes Agent avec, en backend, GPT 5.5 basé sur l’abonnement Codex et un effort de raisonnement réglé sur Low.
J’ai vérifié que cela fonctionne correctement sur un modèle MSI EdgeXpert 1TB de la série GB10 (ARM Ubuntu), acheté pour un usage personnel.
Je n’ai pas vérifié si cela fonctionne sur d’autres OS comme Windows ou Mac.

Mon objectif initial était de le publier sur GeekNews si environ 100 personnes faisaient un git clone ; ce seuil ayant été atteint en 13 jours, je le poste ici, sur un site que je consulte souvent, pour recueillir vos avis.

Merci d’avoir lu ce long message !