OpenAI o1-pro, désormais accessible via l’API

• 150 $ en entrée, 600 $ en sortie (par million de tokens)
  • 150 fois plus cher que o1-mini
• Les modèles de la série o1 sont entraînés via l’apprentissage par renforcement (Reinforcement Learning) pour réfléchir avant de répondre et effectuer des raisonnements complexes
  • Le modèle o1-pro utilise davantage de ressources de calcul pour réfléchir plus en profondeur et fournir des réponses cohérentes de haute qualité
• Disponible uniquement dans la Responses API, avec prise en charge des fonctionnalités suivantes
  • Prise en charge de plusieurs appels d’outils
  • Prise en charge d’interactions du modèle sur plusieurs tours avant de répondre à la requête API
• Fenêtre de contexte de 200 000, nombre maximal de tokens en sortie de 100 000
• Date de cutoff : 1er octobre 2023

[GN⁺]

Avis sur Hacker News

• Ce modèle n’est utilisable que via la nouvelle Responses API. Si vous avez du code qui utilise Chat Completions, il faudra le migrer vers Responses pour le prendre en charge
  • Cela pourrait prendre du temps pour ajouter le support à mon outil LLM
• Prix : 150 $ par million de tokens en entrée, 600 $ par million de tokens en sortie
  • C’est très cher, mais pour l’avoir utilisé avec un abonnement ChatGPT Pro, il est étonnamment performant
  • Si on lui fournit une base de code de 100 000 tokens, il trouve des bugs subtils que j’avais totalement ratés
  • En comparant le tarif de l’API avec le prix de l’abonnement que je paie, je me sens presque un peu coupable
• Rendre un SVG d’un pélican à vélo a coûté 94 cents
• En supposant qu’un employé de bureau motivé payé 160 k$ par an écoute ou parle 6 heures par jour, le coût par million de tokens serait d’environ 10 k$
  • OpenAI atteint désormais, avec le prix de ses modèles de pointe, un niveau comparable à celui d’humains hautement qualifiés
  • o3 pro pourrait changer la donne, mais si o3 devait sortir bientôt, je ne pense pas qu’ils auraient lancé ce modèle
• Il a une date de coupure des connaissances en 2023 et une fenêtre de contexte de 200k
  • C’est un peu décevant
• o1-pro reste excellent, même comparé à toutes les autres sorties, y compris Grok 3 think et Claude 3.7 think
  • J’étais sur le point d’annuler l’abonnement Pro, mais 4.5 est trop bon pour les tâches hors code/mathématiques
  • Je n’en peux plus d’attendre o3 pro
• Des personnes l’ont testé et l’ont apprécié
  • J’ai beaucoup confiance en Sonnet 3.7
  • J’aimerais qu’il soit plus rapide
  • Le principal problème, c’est l’exécution, et je veux que l’IA aille plus vite que si je codais moi-même
• o1-pro semble devoir être utilisé comme un outil de vérification ou pour revérifier une base de code
  • Même avec un prix plus bas, j’imagine qu’il faudrait beaucoup de travail et de connaissances métier pour obtenir une vitesse 10 fois supérieure à Sonnet
• o1-pro ne prend pas en charge le streaming
  • On suppose qu’il utilise des techniques de type best-of-n pour rechercher plusieurs réponses
  • Je pense qu’on pourrait obtenir des résultats similaires à un prix bien plus bas avec llm-consortium
  • On peut solliciter plusieurs modèles, puis sélectionner ou synthétiser la meilleure réponse parmi eux
  • On peut répéter jusqu’à atteindre un seuil de confiance
• Au début, je pensais pouvoir l’ajouter à la plateforme, mais en voyant le prix, j’hésite à activer le modèle pour la majorité des utilisateurs
  • À part les entreprises riches, la plupart des utilisateurs vont probablement se tirer une balle dans le pied
• J’ai toujours soupçonné que o1-Pro soit en fait un workflow du modèle o1
  • Il est possible qu’il fonctionne en répartissant le travail sur 8 instances de o1 puis en agrégeant les résultats