Ollama disponible sur Windows en version Preview

• Ollama peut désormais s’exécuter en environnement natif sur Windows, ce qui facilite l’import, l’exécution et la génération avec des grands modèles de langage en local
• Ollama pour Windows propose l’accélération GPU intégrée, l’accès à toute la bibliothèque de modèles et l’API Ollama compatible OpenAI
• L’exécution des modèles exploite les GPU NVIDIA ainsi que des jeux d’instructions CPU modernes comme AVX et AVX2, sans configuration ni virtualisation supplémentaires
• Toute la bibliothèque de modèles ainsi que les modèles de vision sont disponibles sur Windows, et avec LLaVA 1.6 il est possible d’ajouter une image à un message en la glissant-déposant dans ollama run
• Grâce à l’API Ollama exécutée en arrière-plan, les outils existants prévus pour OpenAI peuvent être connectés à des modèles locaux

---

Disponibilité de la Preview Windows

• Ollama est proposé en Preview Windows, permettant d’importer, d’exécuter et de générer avec des grands modèles de langage sur Windows
• Ollama pour Windows inclut d’un seul coup les principales fonctionnalités

  • Accélération GPU intégrée

    • Accès à toute la bibliothèque de modèles
    • API Ollama incluant la compatibilité OpenAI

Accélération matérielle et mode d’exécution

• Lors de l’exécution des modèles, l’accélération utilise les GPU NVIDIA
• Quand ils sont disponibles, des jeux d’instructions CPU modernes comme AVX et AVX2 sont également exploités
• L’utilisation est immédiate dans l’environnement Windows, sans configuration séparée ni virtualisation

Bibliothèque complète de modèles et modèles de vision

• Sur Windows aussi, il est possible d’exécuter toute la bibliothèque de modèles d’Ollama
• Les modèles de vision sont également inclus
• Pendant l’exécution d’un modèle de vision comme LLaVA 1.6, il est possible d’ajouter une image à un message en la glissant-déposant dans ollama run

API Ollama fonctionnant en arrière-plan

• L’API Ollama se lance automatiquement en arrière-plan et est disponible à l’adresse http://localhost:11434
• Les outils et applications peuvent se connecter à cette API sans configuration supplémentaire
• Voici un exemple d’appel à l’API Ollama depuis PowerShell

(Invoke-WebRequest -method POST -Body '{"model":"llama2", "prompt":"Why is the sky blue?", "stream": false}' -uri http://localhost:11434/api/generate ).Content | ConvertFrom-json

• Ollama pour Windows prend aussi en charge la compatibilité OpenAI, comme sur les autres plateformes
• Les outils existants conçus pour OpenAI peuvent être utilisés avec des modèles locaux via Ollama

Installation et retours

• Pour démarrer avec la Windows Preview, téléchargez OllamaSetup.exe
• Double-cliquez sur le fichier d’installation OllamaSetup.exe pour l’installer
• Après l’installation, ouvrez un terminal et lancez un modèle avec la commande suivante

ollama run llama2

• Lorsqu’une nouvelle version est disponible, Ollama vous proposera la mise à jour
• En cas de problème, vous pouvez ouvrir une issue GitHub ou rejoindre le serveur Discord pour envoyer vos retours