1 points par GN⁺ 4 시간 전 | 1 commentaires | Partager sur WhatsApp
  • À mesure que les entreprises passent de pilotes sur un modèle unique à des systèmes de production multi-modèles, le besoin d’une couche de routage et de passerelle devient plus important
  • OpenRouter est la couche qui prend en charge le routage, la fiabilité, l’optimisation des coûts et la conformité entre les agents et les fournisseurs de modèles
  • Au cours des six derniers mois, le volume traité chaque semaine est passé de 5 billions de tokens à 25 billions de tokens, et au vu du rythme de croissance, le volume traité cette année devrait dépasser 1 quadrillion de tokens
  • La plateforme prend actuellement en charge plus de 8 millions de développeurs travaillant avec plus de 400 modèles, soutenant ainsi le passage de l’IA vers des applications et agents en production
  • Les fonds seront utilisés pour étendre l’infrastructure, renforcer les fonctionnalités enterprise et investir dans le routage intelligent, afin de construire la couche de base de l’ère de l’IA multi-modèles

Series B de 113 millions de dollars

Indicateurs de croissance et échelle d’utilisation

  • Le volume traité chaque semaine par OpenRouter a augmenté de 5 billions de tokens à 25 billions de tokens au cours des six derniers mois
  • Au vu du rythme de croissance, le volume traité cette année devrait atteindre plus de 1 quadrillion de tokens
  • OpenRouter prend en charge plus de 8 millions de développeurs travaillant avec plus de 400 modèles
  • À mesure que l’IA passe de la phase expérimentale à des applications et agents en production, la demande en infrastructure capable de fonctionner de façon fiable à travers les fournisseurs, les modalités et les cas d’usage augmente

Transition vers la production multi-modèles

  • À mesure que les organisations passent de pilotes sur un modèle unique à des systèmes de production multi-modèles, une couche de routage et de passerelle capable de gérer cette complexité devient nécessaire
  • OpenRouter est la couche qui prend en charge le routage, la fiabilité, l’optimisation des coûts et la conformité entre les agents et les fournisseurs de modèles
  • La composition de ce tour de table, centrée sur des entreprises d’infrastructure et de plateforme, montre que cette couche s’impose comme un composant important de la pile IA

Fonctionnalités clés

  • Inférence multimodale

  • Contrôles enterprise

  • Routage intelligent

    • Elle propose un basculement au niveau des fournisseurs, une optimisation des coûts et de la latence, ainsi qu’un routage sensible à la qualité allant au-delà du simple équilibrage de charge

Prochaines étapes

  • Ces fonds serviront à étendre l’infrastructure, renforcer les fonctionnalités enterprise et poursuivre les investissements dans le routage intelligent
  • OpenRouter prévoit de continuer à étendre la couche d’infrastructure de l’ère de l’IA multi-modèles, qui aide à trouver le modèle et le fournisseur adaptés à chaque requête

1 commentaires

 
GN⁺ 4 시간 전
Avis Hacker News
  • Il m’a fallu pas mal de temps pour adopter OpenRouter. Au début, je ne comprenais pas pourquoi ajouter un proxy devant un LLM, mais en pratique ça apporte une vraie valeur

    1. c’est ce qu’il y a de plus fluide pour prendre en charge et tester tous les modèles
    2. ça fournit un plafond de paiement. Si on le branche à un service public, une limite dure est très utile pour éviter qu’un abus ne fasse partir 1 million de dollars en une nuit
    3. le classement a ses défauts, mais c’est un signal intéressant pour voir quels modèles sont populaires. Il y a cette limite qu’une grande partie des utilisateurs d’OpenAI/Anthropic ne passe pas par OpenRouter, et qu’il est difficile de distinguer si beaucoup d’utilisateurs ont changé ou si un seul gros client l’a fait
      Dans une situation où le coût des API devient significatif pour plusieurs entreprises, un service comme OpenRouter, qui permet de mesurer les dépenses et d’expérimenter/changer facilement de fournisseur, semble avoir de la valeur
    • Un autre point positif est qu’ils publient l’état du cache heure par heure pour toutes les combinaisons modèle/fournisseur. En m’appuyant là-dessus, j’ai regardé la liste des niveaux de fournisseurs et j’ai découvert qu’une bonne partie de l’hébergement tiers basé sur l’open source est tout simplement en bas du classement https://dirac.run/posts/cache-hit-rates-agents
    • Au moins pour moi, la plus grosse réduction de friction est le paiement unifié, qui évite des démarches bureaucratiques supplémentaires en environnement d’entreprise. La conversion/abstraction d’API a tendance à créer plus de problèmes qu’elle n’en résout
      Je préférerais qu’on unifie le paiement tout en me laissant utiliser directement les API des fournisseurs, ou via une sorte de proxy « HTTP brut ». Il existe beaucoup de passerelles d’API unifiées, mais je n’ai pas encore vu de produit qui se contente d’ajouter paiement/authentification devant les API natives des fournisseurs
    • Saviez-vous que si vous créditez un compte OpenAI, l’argent expire au bout d’un an ? Quand ça m’est arrivé, ça a disparu comme un crédit promotionnel, sans remboursement ni avertissement, et c’était extrêmement agaçant
      OpenRouter a cet avantage de mettre une barrière entre les fournisseurs et les utilisateurs, alors qu’à l’origine ils devraient se comporter comme des services utilitaires. J’ai l’impression que si on laisse OpenAI tel quel, ils finiront par se comporter comme un opérateur télécom
    • Bons points. La facilité d’expérimentation aide au développement, mais quand on passe à l’échelle, je recommanderais prudemment de migrer vers les API de première main pour des raisons de prix
      OpenRouter est aussi un bon endroit pour trouver un accès gratuit aux LLM, mais avec une contrepartie. Il faut considérer que les entrées et sorties vont finir dans la base de données d’entraînement de quelqu’un. Si on en a les moyens, il faut utiliser des modèles payants avec protection de la vie privée, mais les modèles gratuits ont été excellents pour apprendre et expérimenter. C’est particulièrement bien pour les jeunes apprenants qui n’ont ni carte bancaire ni budget et veulent apprendre la programmation d’API et les LLM
    • Actuellement, avec DeepSeek V4, cela casse la mise en cache, alors que sur V4 le cache est une fonctionnalité clé de la tarification
      https://news.ycombinator.com/item?id=48319827
  • Je suis cofondateur et COO d’OpenRouter. Il y a beaucoup de questions sur la raison de cette levée de fonds
    D’abord, OpenRouter reste une entreprise dirigée et contrôlée par ses fondateurs, avec l’intention de durer longtemps tout en construisant un bon produit pour les builders du monde entier. À la base, nous sommes des bricoleurs qui aiment construire, et quand nous créons quelque chose avec l’IA, nous essayons de fabriquer ce que nous aimerions nous-mêmes utiliser
    Concernant la levée, nous pensons qu’une entreprise solide doit avoir un bilan financier robuste. Nous gérons des dépenses de grande ampleur et avons des engagements de dépense importants à l’échelle de tout l’écosystème. Disposer de liquidités pour encaisser ce qui pourrait arriver à l’avenir est une réduction de risque responsable, et cela rend l’entreprise très résiliente
    C’est aussi un signal pour les grands clients et les partenaires fournisseurs que nous pourrons continuer à fournir le service et à payer les factures sur la durée. Nous n’avons pas besoin de capital-risque pour continuer à nous développer, et l’activité est en fait saine, mais on ne veut pas lever 100 millions de dollars uniquement quand on en a vraiment besoin
    C’est aussi une bonne validation, pour les employés actuels et futurs, que la valeur que nous construisons ensemble est réelle. Nous prenons aussi au sérieux l’obligation de générer un retour pour nos investisseurs, et nous ne cherchons pas seulement à maximiser la valorisation ; nous avons le privilège de pouvoir choisir avec qui travailler. On parle peu de ce point dans l’écosystème startup au sens large, mais je pense que c’est important

    • À quoi OpenRouter compte-t-il consacrer ces 100 millions de dollars ? Vous avez parlé de « rendre l’entreprise très résiliente » et d’« une bonne validation pour les employés », mais j’ai l’impression qu’il y a des choses plus intéressantes à faire avec 100 millions
    • J’aime le produit. Le paiement/authentification unifiés résolvent une vraie douleur, merci
      Plus que l’investissement, c’est la stratégie long terme qui m’intéresse. Où voyez-vous OpenRouter dans 3 à 5 ans, et quel pari produit vous enthousiasme le plus aujourd’hui ? Cette levée vous donne-t-elle envie de vous étendre à des domaines adjacents ?
    • Est-ce qu’on pourrait conserver le paiement unifié tout en gardant un accès brut aux API des fournisseurs ? Les API unifiées sont excellentes quand tout fonctionne bien, mais elles deviennent souvent pénibles pour les cas d’usage atypiques ou les nouvelles fonctionnalités d’API
    • La fonctionnalité qui me manque le plus est la distinction des fournisseurs sans conservation de données, ainsi qu’une capacité à juger si un modèle correspond aux règles que j’ai définies. Aujourd’hui, il n’existe aucun moyen de masquer les fournisseurs qui ne respectent pas les règles ZDR
    • J’ai essayé OpenRouter brièvement. J’avais testé le produit il y a environ un an, et via OpenRouter je n’arrivais pas à obtenir une sortie structurée sur les modèles Gemini de Google
  • En tant que gros utilisateur d’OpenRouter, même si j’ai aussi écrit par inadvertance un post promotionnel connexe il y a quelques jours https://news.ycombinator.com/item?id=48317294, c’est clairement la meilleure façon de tester de nouveaux modèles sans avoir à manipuler les API différentes de chaque fournisseur, un problème de plus en plus récurrent ces temps-ci
    En revanche, j’ai du mal à comprendre ceux qui font tourner toute l’ossature de leurs agents sur OpenRouter avec des modèles chers comme Claude Opus. À ce niveau de coût, les 5 % de frais deviennent significatifs, donc il vaut mieux utiliser l’API du fournisseur d’origine. Cela dit, des gens le font manifestement, et ça, c’est du chiffre d’affaires net

    • Pour ce genre de choses, il semblerait préférable de passer par des bibliothèques open source auxquelles les fournisseurs apportent des patchs de support. Je ne vois pas pourquoi une entreprise devrait jouer le rôle de proxy, ni pourquoi je ne pourrais pas simplement faire tourner sur ma machine une couche mince relativement simple
      Même du point de vue d’un programmeur systèmes un peu idiot qui travaille dans l’IA, je comprends qu’il existe beaucoup de logiciels en apparence superflus qui vendent un peu de commodité contre de l’argent. OpenRouter, c’est simplement ça ? Je me demande s’ils hébergent eux-mêmes les modèles, ou s’ils centralisent juste la facturation de plusieurs fournisseurs
    • En ce moment, il y a beaucoup de dépenses de tokens stupides. Il existe aussi une tendance à concevoir des flux qui consomment le plus de tokens possible. À cause de cette ambiance de peur de se faire distancer, le coût économique des tokens n’est pas évalué avec soin. Mais les gens commencent à s’en rendre compte, et ces dépenses ne sont pas soutenables, donc il y aura un retour en arrière
    • La disponibilité peut être meilleure. Ils peuvent router vers Anthropic, Amazon Bedrock, la Claude Platform d’AWS, Google Vertex Europe ou Google Vertex
    • Payer 5 % de plus pour une facturation unifiée et des limites d’usage, ça va. C’est juste plus simple
    • La commodité a un prix
  • Le « Open » de OpenRouter a-t-il le même sens que le « Open » de OpenAI ? Je n’ai trouvé ni dépôt ni code hébergé. Je pensais que c’était un outil open source auto-hébergeable accompagné d’un produit cloud, mais on dirait qu’il n’y a que le second

    • Moi aussi je pensais que c’était open source, mais après vérification, non. Ils disent que c’est « Open » parce que ça route vers des modèles ouverts de tiers. Encore une couche bidon façon VC ?
    • Le Open de OpenRouter, c’est le même Open que dans OpenSea. Puisque c’est le même fondateur. À chacun d’en tirer la conclusion qu’il veut
    • Honnêtement, n’importe qui pourrait faire un truc comme OpenRouter avec Claude Code en quelques nuits
      Ce n’est qu’un proxy
    • Open signifie ici une couche d’API unique qui permet de remplacer le modèle sous-jacent
  • Tant qu’il y aura beaucoup d’expérimentation dans l’espace LLM et que le « modèle populaire du moment » continuera de changer entre plusieurs laboratoires de pointe, OpenRouter restera probablement très populaire
    Quand la situation commencera à se stabiliser, il y a de fortes chances que les modèles de pointe comme les modèles open source se consolident. À ce moment-là, l’utilité d’OpenRouter diminuera. Quand on veut tester 20 modèles de 10 labos, le surcoût de 5 % vaut largement le coup, mais si on n’a besoin que de 5 modèles chez 2 fournisseurs et qu’on peut réduire les coûts en ajustant les options d’API de chaque fournisseur, cela devient plus difficile à accepter

  • L’une des choses qu’OpenRouter simplifie vraiment, c’est la gestion des clés API. J’aimerais que les autres fournisseurs proposent aussi, ou plus facilement, des fonctions comme l’émission de nouvelles clés, l’expiration par clé ou les plafonds par clé
    Il y a beaucoup de cas d’usage, par exemple quand on partage à l’extérieur des fonctionnalités IA/d’assistance. On peut autoriser cette fonctionnalité tout en limitant les dégâts si la clé est partagée ou utilisée à d’autres fins, et en évitant davantage de procédures de contournement plus fragiles, façon garde-fou

  • Faut-il vraiment de l’argent de VC pour mettre un proxy devant une autre API ? À quoi ça sert exactement ? Au marketing ? C’est déjà connu, qu’est-ce qu’ils veulent encore marketer ?
    À l’infrastructure ? Est-ce qu’il faut tant d’infrastructure que ça pour faire du proxy de requêtes ? Il suffit de payer Cloudflare
    Pour recruter plus d’ingénieurs ? Mais n’êtes-vous pas justement les meilleurs vendeurs d’huile de serpent à expliquer que les ingénieurs ne sont plus nécessaires ?
    Alors, à quoi vont servir ces 100 millions de dollars

    • Ils lèvent parce qu’ils peuvent lever. Et parce que cela sert de preuve sociale, ce qui aide à convaincre les clients qu’ils créent quelque chose d’une valeur plus profonde. En réalité, cela servira à développer des canaux et à préparer l’avenir, où les clients et les données qu’ils leur confient deviendront le produit
    • Cette réponse du cofondateur d’OpenRouter semble pertinente : https://news.ycombinator.com/item?id=48340940
  • Une bonne fonctionnalité d’OpenRouter que je n’ai pas encore vue mentionnée ici, c’est le méta-modèle d’OpenRouter. Il route automatiquement le prompt vers un modèle au niveau de performance approprié
    Ça fait économiser beaucoup d’argent en évitant d’envoyer chaque requête à Opus, tout en évitant aussi de mauvais résultats, puisqu’une demande plus complexe est automatiquement envoyée à Opus

  • « Au cours des six derniers mois, le débit hebdomadaire d’OpenRouter est passé de 5 billions à 25 billions de tokens »
    Waouh, ça fait plus de 41 millions de tokens par seconde. Pour une petite équipe d’environ 48 à 50 personnes au total, l’échelle est énorme

    • Si on suppose qu’il s’agit du coût des tokens en amont, et qu’on tient compte en plus du multiplicateur de tokens traités par requête, cela ne fait peut-être au maximum que quelques milliers de requêtes par seconde. C’est impressionnant, mais pour une startup de 50 personnes qui dépense plusieurs millions de dollars par mois, ça semble aussi à peu près plausible
      Si un fournisseur d’e-mail recevait quelques milliers de messages par seconde, et les transmettait en plus à un service en amont pour la détection de spam, est-ce que cela paraîtrait tout aussi impressionnant ? Dans ce cas, le nombre de tokens pourrait même être plus élevé, mais qu’on ait raison ou tort, HN aurait probablement été plutôt indifférent
      D’un côté, cela montre jusqu’où le secteur est allé en termes d’échelle ; de l’autre, cela montre à quel point les données et le traitement ont explosé, même pour des requêtes nominalement simples. Cela dit, l’équipe est manifestement très forte, et c’est une réussite digne d’éloges
    • Pour se faire une idée, si on prend 4 octets par token, cela représente environ 164 MB/s de trafic. Vu comme ça, cela semble un peu moins écrasant
  • Il serait intéressant de voir le tableur financier de cette opération. En général, les investisseurs de série B attendent presque un rendement de 10x. OpenRouter peut-il vraiment justifier une valorisation de 1,1 milliard de dollars ? Pour un rôle de « gestionnaire » / intermédiaire, cela paraît vraiment élevé. Certes, c’est de l’IA, mais je suis assez vieux pour me souvenir de l’époque où chaque boîte dot-com obtenait une valorisation d’un milliard de dollars

    • Si cela route facilement la plupart des tokens du monde, alors oui. Et si on arrivait un jour à un point où ce sont les fournisseurs qui paient les 5 %, tandis qu’OpenRouter prend davantage la main sur l’infrastructure et le routage ? Il y a plein de façons de devenir une entreprise à 10 milliards de dollars
    • Comme toujours, à long terme, le produit, ce seront les données des utilisateurs