OpenAI menace de retirer l’accès à o1 si l’on pose des questions sur la Chain of Thought

 (twitter.com/SmokeAwayyy)
6 points par GN⁺ 2024-09-14 | 1 commentaires | Partager sur WhatsApp
  • Si l’on interroge plusieurs fois ChatGPT o1 sur la "Chain of Thought", l’équipe de support d’OpenAI envoie un e-mail indiquant qu’elle pourrait annuler l’accès à o1

« Après avoir pris en compte plusieurs facteurs, notamment l’expérience utilisateur, l’avantage concurrentiel et les options de surveillance de la Chain of Thought, nous avons décidé de ne pas afficher aux utilisateurs la Raw Chain of Thought. Nous reconnaissons que cette décision a des inconvénients. Nous cherchons à les compenser en partie en entraînant le modèle à reproduire dans ses réponses les idées utiles issues de la Chain of Thought. Pour la série de modèles o1, nous affichons un résumé de la Chain of Thought générée par le modèle.

Veuillez cesser cette activité et vous assurer que vous utilisez ChatGPT conformément aux conditions d’utilisation et aux politiques d’usage. Toute violation supplémentaire de cette politique peut entraîner la perte de votre accès à OpenAI o1. »

À lire aussi

1 commentaires

 
GN⁺ 2024-09-14
Avis sur Hacker News

  • L’excuse d’OpenAI pour cacher le raisonnement étape par étape semble suspecte

    • Cela donne une impression anticoncurrentielle
    • On a fortement l’impression qu’ils ne veulent pas divulguer le raisonnement du modèle
    • Cela pourrait être lié aux inquiétudes autour de la superintelligence

  • Les grandes annonces d’OpenAI s’accompagnent toujours de polémiques liées au secret

    • La raison invoquée pour ne pas publier les poids de GPT-2 était que c’était « trop dangereux »
    • Les poids de GPT-3 n’ont pas non plus été publiés
    • Ce schéma peut être intentionnel afin d’attirer l’attention des médias

  • Il est impossible de poser des questions sur les tokens CoT, mais ils continuent quand même à être facturés au token

  • L’expression « processus de pensée interne » fait signaler la question

    • Si l’on demande une explication sur des « émotions internes » à côté d’un problème de maths, le modèle renvoie des extraits intéressants
    • Exemple : « mapper les racines réelles de 6x^2 + 5x + 1 et le factoriser en facteurs irréductibles »

  • L’avantage concurrentiel d’une entreprise qui vend des modèles de ML via une API, c’est qu’on ne peut pas voir les poids du modèle

    • OpenAI pousse cela encore plus loin en essayant de cacher le méta-niveau du modèle
    • C’est comme si d’autres API propriétaires fournissaient une sortie de débogage

  • Le nom de l’entreprise, « OpenAI », semble de plus en plus inapproprié

    • Une grande partie de la colère vient de là

  • Cela pourrait être une tentative de cacher une boucle avec intervention humaine

  • Le fait de ne pas pouvoir vérifier les sources d’origine a peut-être aggravé sérieusement les hallucinations de l’IA

  • Le nom « OpenAI » ne correspond pas à l’idée d’« ouverture »

    • Cela ne peut s’appliquer qu’au sens de « ouvert au business »

  • OpenAI a créé une machine à imprimer de l’argent fondée sur des tokens cachés et veut la rendre impossible à auditer