Ollama, disponible en version préliminaire sur Windows

Utilisation de la préversion Ollama sur Windows

• Ollama est désormais disponible en version préliminaire sur Windows.
• Ollama sur Windows inclut l’accélération GPU, l’accès à l’ensemble de la bibliothèque de modèles et une API Ollama compatible avec OpenAI.

Accélération matérielle

• Ollama accélère l’exécution des modèles avec des GPU NVIDIA et des jeux d’instructions CPU modernes comme AVX et AVX2.
• Il fonctionne sans réglages ni virtualisation.

Accès complet à la bibliothèque de modèles

• L’accès à l’ensemble de la bibliothèque de modèles d’Ollama accessibles sur Windows est disponible.
• Lors de l’exécution de modèles visuels comme LLaVA 1.6, vous pouvez faire glisser et déposer une image pour l’ajouter au message.

API Ollama toujours active

• L’API Ollama s’exécute automatiquement en arrière-plan et est accessible depuis les outils et applications sans configuration supplémentaire.
• Par exemple, un exemple d’appel de l’API d’Ollama via PowerShell est fourni.

Démarrage

• Téléchargez et installez Ollama pour démarrer Ollama on Windows Preview.
• Une fois installé, ouvrez un terminal et utilisez la commande ollama run llama2 pour exécuter un modèle.
• Ollama informe des mises à jour à chaque nouvelle version.
• Les retours sont sollicités ; en cas de problème, ouvrez un ticket ou rejoignez le serveur Discord pour le signaler.

Point de vue de GN⁺

• Intégration Windows : l’intégration de Windows dans Ollama permet aux développeurs d’utiliser plus facilement les modèles de langage de grande taille dans un environnement Windows, ce qui améliore l’accessibilité du machine learning et du développement IA.
• Accélération matérielle : l’accélération via GPU et jeux d’instructions CPU récents améliore nettement la vitesse d’exécution des modèles, tout en permettant d’optimiser les performances sans configuration complexe.
• Accessibilité de l’API : une API toujours active et la compatibilité avec OpenAI facilitent l’intégration avec les outils existants, permettant aux développeurs de travailler plus efficacement.

[GN⁺]

Hacker News commentaires

• L'utilisateur fait tourner sur son bureau un frontend Open-WebUI avec une collection de modèles affiné, dont Mistral et quelques autres. Ils donnent de bons résultats en chat et en tâches d'extraction d'informations. L'application Open-WebUI ressemble énormément à chatGPT, et on peut aussi rechercher dans les conversations.

  Open-WebUI GitHub page

• Il est déçu que le support des GPU AMD ne soit pas mentionné, et regrette de s'être tourné vers AMD.
• Pour les personnes qui cherchent une UI de chat basée sur Ollama prenant en charge à la fois les modèles en ligne et locaux, je développe une app hors ligne orientée confidentialité et j'ai ajouté le support Windows ce matin.

  msty.app

• Il se demande pourquoi de nombreuses 'interfaces IA en local' tournent comme des serveurs. Il se demande si les développeurs ont oublié qu'il est possible d'exécuter du code dans le processus d'une UI. Il observe le même comportement sur le launcher Stable Diffusion et l'hôte LLM. Je ne veux pas lancer de service d'arrière-plan local si ce n'est pas nécessaire.
• Il s'intéresse aux avis sur LM Studio et Ollama, qui ne sont pas open source.

  LM Studio

• Il ne savait pas qu'il y a quelques années encore, les utilisateurs de Windows n'avaient pas accès à Ollama, alors que les utilisateurs de Mac devaient sûrement attendre.
• Ollama était déjà disponible sur Linux et Mac, et la prise en charge de Windows a été ajoutée.

  Ollama GitHub page

• Sur une machine Windows, j'ai utilisé Ollama ces derniers jours dans VS Code pour l'auto-complétion des onglets locaux, et la performance était aussi bonne qu'avec un Mac.
• Après avoir installé le modèle llama2 sur un nouveau Mac Mini, j'ai eu un kernel panic complet. Que se passe-t-il ?
• Il se demande si les gens préfèrent exécuter et développer au-dessus de modèles locaux, et s'il existe d'autres outils indispensables à apprendre.