- Un LLM de 3B de paramètres, 60 % plus petit que CodeLLaMA 7b, mais offrant des performances similaires en génération de code
- Peut fonctionner hors ligne sur un ordinateur portable standard, même sans GPU (comme un MacBook Air)
- Basé sur le modèle Stable LM 3B, entraîné sur 4 000 milliards de données en langage naturel, puis davantage affiné sur des données liées au génie logiciel et au code
- 18 langages de programmation ont été sélectionnés en s’appuyant sur l’enquête 2023 auprès des développeurs de Stack Overflow
5 commentaires
Comme nous sommes dans la finance, nous développons uniquement sur un réseau interne. Dans ce cas, quelle serait la meilleure approche ?
Quand j’utilise chez moi quelque chose comme Copilot, je me dis que j’aimerais bien pouvoir en profiter aussi au travail, donc je me permets de poser la question.
https://github.com/janhq/jan
Il s’agit d’une application GUI qui permet d’utiliser des modèles hors ligne. Si vous êtes sur un réseau interne, il semble que vous puissiez télécharger à l’avance depuis l’extérieur le fichier d’installation de cette application ainsi que le fichier du modèle à utiliser, puis les transférer vers le réseau interne pour vous en servir.
La méthode pour ajouter manuellement un modèle est indiquée ci-dessous.
https://jan.ai/guides/using-models/import-manually/
Dans un environnement isolé du réseau, franchement, cela revient ni plus ni moins à mettre des entraves aux développeurs.
Ces derniers temps, on parle aussi d’un assouplissement des politiques de séparation des réseaux et on voit des efforts pour améliorer les choses, donc on peut garder un peu d’espoir. Mais dans les banques, les télécoms et autres secteurs qui traitent des données personnelles, cela risque sans doute de rester compliqué à l’avenir. Pour les développeurs, c’est vraiment un environnement qui ressemble à une prison.
Ils n’ont comparé les performances qu’avec des modèles de taille similaire, mais si on regarde un leaderboard un peu plus large, voilà ce que ça donne.
https://huggingface.co/spaces/bigcode/bigcode-models-leaderboard
Comme il s’agit de code, je me dis qu’il ne vaudrait pas mieux privilégier un modèle plus performant, même s’il est un peu plus lent ou plus coûteux ?