« Inferact », fondée par les créateurs de vLLM, lève 150 millions de dollars en seed pour commercialiser le moteur d’inférence open source

Résumé :

• La startup « Inferact », fondée par les créateurs de vLLM, un moteur d’inférence LLM open source, a levé 150 millions de dollars (environ 210 milliards de wons) en seed, pour une valorisation de 800 millions de dollars.
• Ce tour de table a été mené par a16z et Lightspeed, et les fonds levés doivent servir à construire une plateforme d’inférence IA de niveau entreprise basée sur vLLM et à accélérer sa commercialisation.
• Inferact vise à fournir une infrastructure d’inférence hautes performances et à faible coût afin d’aider les entreprises à déployer et exploiter efficacement des grands modèles de langage (LLM) dans des environnements matériels variés.

Résumé détaillé :
Cette levée de fonds seed d’une ampleur exceptionnelle pour Inferact montre que l’amélioration de l’efficacité de l’infrastructure IA, en particulier à l’étape de l’« inférence », est aujourd’hui un enjeu central du marché de l’IA.

1. Relation entre Inferact et vLLM

   • Inferact est une entreprise fondée par les principaux créateurs du projet vLLM, aujourd’hui l’un des moteurs open source de serving LLM les plus utilisés. Elle est dirigée par le CEO Simon Mo.
   • Grâce à l’algorithme « PagedAttention », vLLM résout les goulets d’étranglement liés à la mémoire et offre un throughput supérieur aux solutions existantes, au point de s’imposer comme un standard de fait parmi les développeurs.

2. Montant de l’investissement et contexte

   • 150 millions de dollars (seed round) : un montant exceptionnel, très au-delà d’un seed classique, qui reflète la demande explosive du marché pour la réduction des coûts d’inférence et l’optimisation des performances.
   • Valorisation de 800 millions de dollars : bien que le produit n’en soit pas encore à une phase de commercialisation à grande échelle, l’influence déjà acquise par vLLM et son moat technologique ont été fortement valorisés.
   • Principaux investisseurs : les grands fonds de capital-risque de la Silicon Valley Andreessen Horowitz (a16z) et Lightspeed Venture Partners ont mené l’investissement.

3. Objectifs techniques et feuille de route

   • Commercialisation pour l’entreprise : bâtir, sur la base de vLLM, une plateforme commerciale adaptée aux environnements d’entreprise, incluant service managé, sécurité et support technique.
   • Extension de la compatibilité matérielle : au-delà des GPU NVIDIA, l’entreprise prévoit d’élargir la prise en charge afin d’obtenir des performances optimales sur divers accélérateurs matériels comme AMD et AWS Inferentia.
   • Optimisation des coûts d’inférence : à l’image d’entreprises comme Stripe, qui ont déjà réduit leurs coûts d’inférence de plus de 70 % grâce à des frameworks similaires à vLLM, Inferact veut aider les entreprises à fournir des services LLM plus rapidement et à moindre coût.

4. Impact sur l’écosystème développeur

   • La pérennité du projet open source vLLM s’en trouve renforcée, tandis que les organisations souhaitant des fonctionnalités destinées aux entreprises disposent désormais d’une option payante claire.
   • En abstrayant les processus complexes d’optimisation des modèles, l’entreprise devrait permettre aux ingénieurs ML de se concentrer davantage sur le développement d’applications autour des modèles que sur la gestion de l’infrastructure.