Show HN : Countless.dev – le site web pour comparer tous les modèles d’IA : LLMs, TTSs, STTs

Présentation de la comparaison de modèles d’IA

• Comparaison de modèles d’IA : projet open source permettant de comparer facilement divers modèles d’IA. Il est proposé gratuitement et permet de comparer, pour chaque modèle, la longueur d’entrée et de sortie, les prix, etc.

Comparaison des prix

• Prix par modèle : des modèles de différents fournisseurs comme OpenAI, Azure, Anthropic et Google sont inclus, et le prix est indiqué en fonction de la longueur d’entrée et de sortie de chaque modèle.

Comparaison des fonctionnalités des modèles

• Fonctionnalités prises en charge : les fonctionnalités prises en charge par les modèles incluent Vision, Chat, Embedding, Image generation, Completion, Audio transcription, TTS, etc.

Principaux modèles et prix

• OpenAI : divers modèles comme gpt-4, gpt-3.5-turbo, etc., avec des longueurs d’entrée et de sortie et des prix variés.
• Azure : divers modèles comme gpt-4o, gpt-4-turbo, etc., dont certains prennent en charge la fonctionnalité Vision.
• Anthropic : la série de modèles Claude, qui prend en charge différentes longueurs d’entrée et de sortie.
• Google : divers modèles comme Gemini, Chat-bison, etc., dont certains prennent en charge la fonctionnalité Vision.

Points à considérer lors du choix d’un modèle

• Prix : il faut prendre en compte le prix selon la longueur d’entrée et de sortie du modèle.
• Prise en charge des fonctionnalités : il faut choisir un modèle qui prend en charge les fonctionnalités nécessaires.
• Fournisseur : il est possible de choisir parmi différents fournisseurs tels que OpenAI, Azure, Anthropic et Google.

[GN⁺]

Avis Hacker News

• Se demande si le site a été inspiré par les outils de comparaison de LLM. Le tableau est très similaire, mais l’ajout d’un calculateur personnalisé est appréciable

  • Il serait utile d’ajouter, dans Versus Comparison, une case à cocher pour mettre en avant les meilleurs champs de chaque LLM

• Aime l’idée de comparer les modèles. Se demande s’il est prévu d’ajouter une analyse indépendante, ou si le site n’est qu’un agrégat de limites d’entrée

  • Demande en quoi cela diffère des autres analyses ou ce que cela apporte en plus
  • Le site est agréable à parcourir

• Veut une bonne valeur « bang for buck ». Souhaite connaître le modèle le moins cher capable de produire de manière fiable des données structurées à partir de texte non structuré

  • Utilise actuellement gpt4o-mini, mais se demande s’il existe une alternative moins chère

• Demande s’il existe une application de bureau meilleure que le client par défaut de ChatGPT

  • Préfère une compatibilité macOS/Linux

• Aime l’UI et la disposition du tableau. Demande s’il a été envisagé d’afficher les besoins en VRAM des modèles

• Google affirme que Gemini dispose d’une fenêtre de contexte plus de 10 fois supérieure à celle de la plupart des concurrents

  • Se demande si quelqu’un a testé si cela est réellement utile
  • Dans ses propres essais, le modèle a tendance à perdre le fil après environ 10 échanges
  • Se demande si Gemini fonctionne réellement différemment, ou s’il s’agit simplement de marketing exagéré

• Il n’y a que deux modèles de transcription audio. Se demande s’il n’existe pas de modèles de transcription open source, ou si le jeu de données est simplement réduit

• Recommande llmprices.dev. Le site est automatiquement mis à jour toutes les 24 heures avec les informations les plus récentes

• Les journaux, résultats de tests, métriques, etc. générés pendant un build peuvent constituer la sortie du build

  • Parfois, « déploiement » signifie mettre à jour les chaînes de version et les références d’images dans un autre dépôt
  • Cela nécessite des clés SSH, mais il préfère gérer cela manuellement

• Adresse de grands compliments au projet après avoir vu qu’il avait été réalisé pour un hackathon