Ollama Turbo
(ollama.com)- Ollama Turbo permet d’exécuter rapidement de grands modèles open source sur du matériel de datacenter hautes performances (20 $/mois)
- Il permet d’exécuter des grands modèles de manière rapide et efficace tout en réutilisant l’app, le CLI, l’API ainsi que les bibliothèques JavaScript/Python d’Ollama
- Actuellement en préversion, il prend en charge les modèles ouverts d’OpenAI gpt-oss-20b et gpt-oss-120b
- En mode Turbo, l’historique des requêtes n’est ni stocké ni conservé dans les logs sur le serveur
- L’infrastructure matérielle n’est exploitée que dans des data centers américains, avec des limites d’usage horaires et quotidiennes, et un système de facturation au volume d’utilisation est prévu prochainement
1 commentaires
Commentaires Hacker News
Je pense que c’est un excellent lancement. Le plus difficile avec l’usage de modèles OSS en entreprise, ce sont les nombreuses contraintes : la vitesse, le coût, la fiabilité, l’équivalence fonctionnelle (par ex. le context caching), la performance (à quel niveau de quantification exactement, etc.), la garantie d’un hébergement géographiquement adapté/ de la confidentialité des données, le LTS, etc. Si l’on veut utiliser un modèle OSS en dehors de la triade des grands fournisseurs, il faut évaluer directement le fournisseur sur tous ces axes, ce qui exige pas mal d’expertise. Il arrive parfois qu’il faille aussi créer ses propres outils d’évaluation. En revanche, Anthropic, OpenAI et Google donnent une expérience qui fonctionne "sortie de la boîte", et c’est le prix qu’on paye pour cela. C’est un peu plus cher, mais je considère que c’est le coût d’un service qui prend tout en charge. Tant que les fournisseurs OSS ne standardisent pas, les modèles open source, même s’ils sont théoriquement aussi performants que les fermés, risquent de rester dans un entre-deux où ils auront du mal à rivaliser sur les déploiements à grande échelle.
C’est vrai, mais utiliser les principaux grands fournisseurs revient aussi à confier la totalité du trafic de prompts sans réelle protection juridique. Pour plus de détails, voir l’article concerné
Le modèle Gpt-oss n’est proposé qu’en quantification 4,5 bits. C’est le modèle original pur, il n’existe pas de modèle fp16.
Certains réagissent mal en disant qu’Ollama fait ce genre de chose, mais je pense que c’est la solution la plus simple pour développer et tester un modèle en local. C’est vrai, llama.cpp est le vrai moteur et Ollama est un peu un wrapper. Je n’ai pas envie d’utiliser Ollama dans un service commercial. En revanche, pour des personnes avec peu de connaissances techniques qui veulent rapidement développer et exécuter elles-mêmes un système avec des capacités LLM, le fait de pouvoir l’installer directement avec une GUI et un fichier .dmg est un vrai atout.
Merci pour le feedback. Depuis la mise à jour du moteur multimodal, Ollama n’est plus un simple wrapper de llama.cpp. Il utilise encore la bibliothèque GGML et optimise les performances en collaboration avec des partenaires matériels. Ollama peut sembler un jouet, mais maintenir cette simplicité demande énormément d’efforts. La simplicité est souvent sous-estimée, mais c’est le monde que nous voulons construire.
Il y avait des avis disant qu’ils ne veulent pas utiliser Ollama en prod. En réalité, nous avons benchmarké le temps de démarrage et le throughput en tokens/s de vLLM vs Ollama, et Ollama a obtenu les meilleures performances. J’espère qu’on pourra bientôt publier ces résultats.
Si l’on ne peut pas utiliser de vrais GPU de datacenter et qu’on ne peut déployer qu’en desktop ou côté client, Ollama est le meilleur choix. C’est une situation rare, mais dans certaines organisations la réalité, c’est de n’avoir le choix qu’un desktop avec une carte graphique 4090.
Je pense qu’Ollama est l’équivalent de “local”, et je suis curieux de voir ce que cela va donner.
Il y a une voix forte, minoritaire, d’utilisateurs qui ne font pas confiance aux grands acteurs, mais ces gens ne verraient pas de problème à payer pour des services similaires de petites entreprises. Je me demande s’ils paieront réellement pour un service comme Ollama.
Ça me rappelle les services de cloud gaming. Globalement, on est satisfait d’un usage local, mais parfois il est plus efficace de répercuter le coût matériel à quelqu’un d’autre. C’est une question de choix, pas un cas de tout ou rien.
Sur le “privacy first”, je veux surtout voir des éléments concrets. Dire seulement qu’on ne stocke pas les données me semble insuffisant. Par exemple, quand Draw Things propose du “Cloud Compute”, tout le traitement des données se fait uniquement en RAM par requête et rien n’est stocké. Mais ce n’est pas non plus une approche qui me satisfait. L’ajout du support “privacy pass” est prévu bientôt, mais cela a aussi ses limites. Ce serait bien d’avoir une preuve de transparence vérifiable depuis le matériel, mais je ne sais pas par où commencer.
Je ne pense pas que travailler avec Ollama soit un avantage en matière de confidentialité. Ollama peut aussi vendre des données, ou être tenu de les soumettre si nécessaire par la loi.
La politique de confidentialité n’est pas visible et, comme l’application desktop n’est pas open source, elle ne donne pas confiance. [Au passage, je développe une solution d’appels LLM avec de véritables garanties de confidentialité et de journaux de transparence.]
Si on pouvait exécuter des modèles dans des pays comme la Suisse ou ceux qui respectent bien le GDPR, je serais prêt à payer un surcoût, même avec un peu plus de latence. J’attends aussi un traitement des transferts de données via des protocoles sécurisés comme le SSL.
On se demande s’il ne vaudrait pas mieux, pour les mêmes 20 $, utiliser un modèle SOTA d’OpenAI que des modèles “inférieurs” sur Ollama.
Le point fort d’Ollama Turbo, c’est qu’avec le bon matériel, on peut tester directement dans le cloud de nombreux modèles qui tournent en local. Avant d’investir beaucoup d’argent pour acheter et construire une infrastructure haut de gamme (mac studio, dgx, etc.), on peut tester rapidement ces modèles open et évaluer rapidement leur applicabilité. Les développeurs des secteurs financier, médical et juridique, où la confidentialité est essentielle, privilégient généralement on-premise et local. On peut profiter de ce service pour expérimenter et développer sur des données non sensibles, puis migrer vers son propre matériel lors du passage en production.
Le fait de pouvoir exécuter un modèle sans filtre est un vrai avantage. OpenAI applique un filtrage excessif, et ne dit pas quelles règles sont enfreintes. Il faut changer les prompts pour vérifier soi-même d’éventuelles violations de copyright, de marque, etc., et dernièrement il arrive même qu’ils ne répondent pas correctement à de simples questions. Je veux une version de LLM sans “protections”.
Je ne suis pas sûr que les grands modèles restent à ce prix de 20 $ à l’avenir. Quoi qu’il en soit, j’espère toujours un marché compétitif.
La confidentialité des données me paraît être la raison la plus importante, et il est probable qu’elle s’accompagnera aussi d’une offre d’usage plus généreuse. Pour moi, la confidentialité des données est l’essentiel.
C’était prévisible. La communauté d’inférence locale se regroupe autour d’Ollama, mais il est évident que la stratégie à long terme et les priorités d’Ollama ne sont pas clairement là. Il faut migrer rapidement vers une alternative.
La bibliothèque de base d’Ollama, llama.cpp, dispose de fonctionnalités serveur et est totalement compatible avec open-webui. En fait, il y a quelques mois, j’ai migré de Ollama vers llama-server, et comme j’utilise la même UI, je suis tout à fait satisfait.
Ollama est open et ne facture que les utilisateurs qui veulent un GPU additionnel. Il est légitime de facturer car il y a un coût GPU, et utiliser ces revenus pour faire grandir le cœur d’un projet open source est nécessaire. Il faut que ce soit raisonnable dans une certaine mesure, et je crois qu’on peut en tirer de super résultats si on agit de bonne foi.
Le projet github.com/containers/ramalama existe aussi dans ce but.
Huggingface propose aussi des produits cloud, mais ça ne veut pas dire qu’on ne puisse pas télécharger les poids de modèles et les exécuter en local.
Vouloir des services gratuits de manière structurellement non viable a ses limites. Quelqu’un qui veut créer une alternative open source peut le faire en investissant du temps. Sinon, il faut accepter la réalité actuelle.
Je suis perplexe sur pourquoi Ollama a pris cette décision. Sauf intention de réduire les revenus, cela ressemble à une pression exercée par quelqu’un. C’est dommage qu’une solution locale qui fonctionnait vraiment bien et qui aurait permis plus d’idées soit désormais remplacée par un autre service cloud. J’aimerais qu’Ollama reste aussi excellent que toujours.
Beaucoup d’aspects de cette annonce m’intéressent. En tant que principal moteur OSS local, le fait d’annoncer une offre OSS-only dès le départ ressemble à une stratégie de surf sur la vague OSS à bon escient. Un abonnement est intéressant ; d’autres acteurs l’adoptent aussi, mais c’est une approche rare dans les services basés sur API. À long terme, j’anticipe une guerre des prix sur les LLM ; l’apparition d’un abonnement mensuel pour les services API peut être un signal de ce phénomène. Je me demande si Ollama a les ressources pour maintenir à la fois le moteur local et ce service cloud.
La mise en place d’une tarification au volume arrive bientôt, c’est à mon sens le format parfait pour ce type de service. Je paie aussi 20 $ à Anthropic, et perso je doute de dépasser un usage qui justifierait autant chez ce service. Mais la possibilité de charger et comparer directement des modèles variés est vraiment utile. J’espère surtout que l’équipe aura de bons résultats.
Un abonnement fixe pour des LLM open source est assez singulier. Je ne pense pas que je l’utiliserai, mais si une tarification basée sur l’usage est appliquée, il faudra concurrencer directement des leaders établis comme deepinfra.com, novita.ai, openrouter.ai. Ollama a une meilleure notoriété, mais les services existants ont déjà une forte compétitivité de prix.
Je suis d’accord que la tarification basée sur l’usage arrive bientôt. Mais il existe déjà beaucoup de fournisseurs qui offrent divers modèles basés sur OpenAI, donc je me demande quelle sera la différenciation d’Ollama. Il existe déjà pas mal de bonnes interfaces pour utiliser sa propre clé API.
Un abonnement mensuel de 20 $ pour l’accès API est clairement une nouveauté.
La tarification par abonnement pour l’usage de l’API est vraiment une initiative intéressante. La vraie valeur me semble dépendre du fait qu’une limite d’usage ne soit pas publiée.