Panne majeure de ChatGPT et de l’API

• Entre 5:42 AM et 7:16 AM PT le 8 novembre, une part importante des requêtes a échoué avec des erreurs 502 ou 503 sur l’ensemble de ChatGPT et de l’API d’OpenAI, affectant tous les modèles et tous les endpoints API
• Des nœuds de la couche de routage ont atteint leur limite mémoire, ont échoué aux vérifications d’état de préparation, et comme un nombre suffisant de nœuds est passé en état unavailable, la capacité est devenue insuffisante pour traiter le trafic entrant
• Le matin même, le nombre de requêtes de completion a fortement augmenté par rapport à n’importe quel autre jour précédent, constituant le tipping point qui a transformé un problème mémoire existant en panne généralisée du service
• La restauration a consisté à limiter le trafic entrant, redéployer massivement le service, puis reprendre progressivement le trafic, et après la correction de la réutilisation de responseBuffer, l’utilisation mémoire et CPU a été améliorée d’un facteur 3
• OpenAI a appliqué des ajustements des limites mémoire, un lissage de charge basé sur des rate limits et une augmentation de capacité, et prévoit d’ajouter des alertes mémoire ainsi qu’une configuration d’auto scaling

---

Portée de la panne et cause directe

• Entre 5:42 AM et 7:16 AM PT le 8 novembre, une part importante des requêtes OpenAI a échoué avec des erreurs 502 ou 503
• Pendant la panne, tous les modèles et tous les endpoints API ont subi un taux d’échec élevé
• La cause directe est que les nœuds de la couche de routage ont atteint leur limite mémoire et échoué aux vérifications d’état de préparation
  • Un nombre suffisant de nœuds du service est passé en état unavailable
  • Il ne restait plus assez de capacité pour traiter le trafic entrant
  • Le service n’a pas pu se rétablir de lui-même
• Ce matin-là, il y avait beaucoup plus de requêtes de completion que n’importe quel autre jour précédent, ce qui a servi de tipping point déclenchant la panne

Mesures de restauration et prévention de récidive

• La réponse immédiate a combiné trois actions
  • Limitation du trafic entrant
  • Redéploiement massif du service
  • Réaugmentation progressive du trafic
• La cause profonde du problème mémoire chronique venait du fait que responseBuffer n’était pas réutilisé dans la boucle et était continuellement réalloué
  • En cas de forte charge, le GC finissait par prendre du retard
  • La correction a consisté à préallouer le buffer puis à le réutiliser
  • Après le déploiement, l’utilisation mémoire et CPU a toutes deux été améliorées d’un facteur 3
• Mesures supplémentaires déjà appliquées :
  • Les limites mémoire configurées ont été ajustées à un niveau approprié, donnant au service une marge de manœuvre importante
  • Des rate limit controls ont été mis en place pour réduire le trafic de manière plus fluide
  • La capacité du service a été augmentée comme mesure préventive supplémentaire
• Changements à venir :
  • Des modifications des alertes ont été mises en place pour détecter le comportement mémoire avant qu’il ne se transforme en incident de service
  • Jusqu’à présent, l’augmentation de capacité pouvait avoir un impact négatif sur un upstream service, ce qui empêchait d’activer l’auto scaling sur ce service
  • Ce problème de fond étant résolu, OpenAI prévoit de configurer l’auto scaling pour ce service
• Une panne prolongée de l’API affecte les produits et l’activité des clients, et une panne de cette ampleur peut être particulièrement dommageable

[xguru]

On dirait que l’événement développeurs a provoqué un afflux de trafic. Clairement, GPT-4 Turbo a pas mal changé au niveau des sorties. Même le résumé GN+ a changé de format alors que j’ai à peine modifié le prompt.

[GN⁺]

Avis sur Hacker News

• ChatGPT étant en panne, j’ai essayé Google Bard pour la première fois aujourd’hui, et honnêtement c’était plutôt correct
  Il a un ton subtilement différent de ChatGPT, difficile à expliquer

  • On me recommande souvent Bard, mais il renvoie presque toujours des informations fausses ou prêtant à confusion
  • Bard a des données d’entraînement et une méthode d’entraînement différentes, rien que cela permet déjà de comprendre en partie pourquoi il diffère de ChatGPT
    Du point de vue utilisateur, les façons de l’amener à donner la réponse voulue sont différentes, et la manière de poser les questions ou de faire du prompt engineering doit aussi changer
  • Pour la même raison, je l’ai essayé pour la première fois aujourd’hui, et il était plus lent et nettement plus faible pour le code
    Je lui ai simplement demandé une requête SQL d’agrégation, et il a purement ignoré une partie des exigences de la requête
  • Bard a des filtres excessivement agressifs
    Même quand on brainstorme des idées de voleurs dans un univers fantasy, par exemple dans une ambiance à la Lies of Locke Lamora, il refuse souvent de coopérer
    On dirait qu’il applique une sorte de filtre heuristique à la sortie avant de l’afficher à l’utilisateur, et en modifiant légèrement le prompt ça peut passer
    Côté ChatGPT, le système est assez intelligent pour comprendre qu’un crime fantasy n’est pas une information permettant de commettre un vrai crime
  • J’ai essayé https://you.com/chat et ce n’était pas mal
    Pour le modèle GPT4, il existe un coupon d’essai gratuit d’un mois "codegpt", et GPT3.5 est gratuit

• Phind est plutôt bon pour le code, et comme il est basé sur LLama 2 entraîné avec des dizaines de milliards de tokens de code supplémentaires, il est encore en ligne : https://www.phind.com/s

  • Je me demande comment les gens utilisent Phind
    J’ai récemment discuté directement avec Phind, et je lui ai dit que pour m’aider, il ne devrait-il pas lire ma base de code afin de comprendre les modèles dont je parle ?
    À mon avis, sans connaître la base de code, il ne peut rien écrire correctement à part les fonctions les plus triviales
    Phind a répondu que oui, mais qu’en pratique il ne pouvait pas ingérer la base de code
    Il s’exprimait de façon assez cohérente et semblait comprendre ce que je disais
    S’il ne peut pas aider lorsqu’une fonction prend en paramètre ou renvoie des classes non triviales, je ne vois vraiment pas d’où vient sa valeur
  • J’ai obtenu beaucoup de bons résultats avec Phind
    Le dernier modèle fine-tuné, V7, était agréable à utiliser et meilleur que la plupart des modèles open source
    En revanche, il y a un s à la fin du lien, donc ça donne une 404
  • Phind a eu quelques problèmes de cohérence, mais globalement je n’ai pas grand-chose à lui reprocher
    Il y avait parfois de petits bugs, comme l’absence de réponse sur de gros prompts ou la disparition des options de réponse
    Dans l’ensemble, il convient bien pour échanger des idées avec ChatGPT ou obtenir un autre point de vue
    La fonction d’annotations qui montre les sites web d’où proviennent les informations est aussi très bien faite
  • Phind semble être tombé aussi
    "The inference service may be temporarily unavailable - we have alerts for this and will be fixing it soon."
  • Je viens de l’essayer : https://www.phind.com/search?cache=on5whfczqko9igz84bvacksk
    À mon avis, c’est entièrement une hallucination. C’est bien qu’il ajoute des liens vers la documentation
    Modification : en remplaçant astrojs par vite, j’ai obtenu une réponse très bonne et exacte : https://www.phind.com/search?cache=rh6s7pydzi3312b7rf43i7cm
    Assez impressionnant

• Waouh, j’ai vraiment eu des sueurs froides
  Environ 48 heures avant le lancement, nous venions de migrer la plupart de nos services vers Azure OpenAI, et nous n’avons pas été affectés par cette panne
  Quel soulagement

  • Intéressant. Donc Azure OpenAI n’a pas été affecté ?
    Je me demande s’il reçoit les mises à jour de l’API et du système OpenAI en même temps, et si les prix sont les mêmes

• C’est le moment idéal pour rappeler que HuggingFace héberge plusieurs modèles de chat open source
  L’un de mes modèles préférés est une version fine-tunée de Mistral 7B : https://huggingface.co/spaces/HuggingFaceH4/zephyr-chat

  • J’avais un peu expérimenté les grands modèles de langage en local auparavant, mais à l’époque je n’avais pas trouvé de modèle à la fois assez petit pour tourner sur une 3080 Ti et correct
    Celui-ci est assez petit pour s’exécuter à une vitesse tout juste utilisable, un peu plus d’un token par seconde, et jusqu’ici il semble presque au niveau de GPT3.5
  • Si c’est gratuit, je me demande comment ils gagnent de l’argent

• J’allais dire que c’était l’occasion pour Bard de briller, mais Bard semble aussi en panne

  • Je suis allé essayer Bard, et l’écran était épuré avec une UI vraiment agréable
    Les réponses avaient aussi l’air bien structurées et plaisantes à lire
    Dommage que l’intelligence artificielle ne soit pas aussi bonne que celle d’OpenAI
  • Il va falloir sortir le chapeau en papier alu. Ça ne peut pas être une coïncidence :D
  • Ça affiche "Something went wrong. Sorry, Bard is still experimental"
    On dirait qu’ils ont raté leur occasion
  • Bard est encore beaucoup trop frileux, et en plus ce n’est même pas encore un service international
  • On dirait qu’ils ont commencé à se parler entre eux

• À en juger par les bavards qui se sont soudain tus, c’est le moment idéal pour scraper les commentaires HN afin de voir qui écrivait des commentaires HN avec ChatGPT

  • Hé hé. En tant que grand modèle de langage, je pense que les autres humains ne devraient pas suivre les conseils de cet humain ;)

• J’ai remarqué la panne
  J’ai l’impression que beaucoup de gens utilisent ChatGPT comme des roulettes de vélo, puis oublient comment rouler sans.

  • Avec cette analogie, ça ressemble davantage à des béquilles qu’à des roulettes
    Si on ne peut pas rouler sans, on n’a rien entraîné du tout.
  • Pour moi, ça ressemble plutôt à ça
    Vous êtes en train de construire une moto traditionnelle, quelqu’un propose un moteur de vélo électrique, et comme vous n’avez même pas encore de moteur thermique, vous vous dites que ça peut accélérer la démo ou la mise sur le marché, puis que vous le remplacerez plus tard par un vrai moteur.
    Mais au moment où vous finissez le guidon, le moteur de vélo électrique a été mis à niveau quatre fois et est devenu meilleur que n’importe quel moteur thermique. Il n’y a alors plus vraiment de raison de le remplacer.
    Le temps d’arriver sur le marché, ce moteur aura reçu encore plusieurs mises à jour, sera entièrement autonome et pourra peut-être même voler.
    Et en plus, il sera même capable de s’auto-répliquer, si bien que les acheteurs pourraient ne plus avoir besoin de vous.

• Des millions de développeurs juniors vont maintenant devoir lire les manuels
  Grand jour.

  • C’est fou de voir à quel point le basculement vers ChatGPT, et la dépendance qui va avec, ont été soudains et complets
    Profitons-en, ce sont les derniers jours de notre métier.
  • Lire les manuels, c’est un truc de dinosaures ; maintenant, il faut googler.

• J’ai essayé Bard aujourd’hui, il s’est beaucoup amélioré.

  • Je l’espère
    Les problèmes de Bard me surprennent encore.
    Le mois dernier, il a menti à propos d’un fait, puis, quand je lui ai demandé plus de détails, il a prétendu avoir envoyé un e-mail.
    Ensuite, il s’est excusé en disant qu’en réalité il n’avait pas envoyé d’e-mail et qu’il « savait » qu’il ne pouvait pas en envoyer.
    On dirait un ami incapable de dire « je ne sais pas » et qui ment à la place.
    Je lui avais demandé s’il y avait déjà eu un marché à l’intérieur de la statue du « Christ the King » à Lisbonne, pour vérifier une rumeur entendue auprès d’un habitant.
    En réalité, il n’y en a jamais eu, mais Bard croyait que si.

• Heureusement, OpenAI n’a pas de contrat de niveau de service : https://help.openai.com/en/articles/5008641-is-there-an-sla-for-latency-guarantees-on-the-various-engines

  • Je dis ça en tant que grand fan de GPT, mais je suis sidéré de voir à quel point OpenAI est une entreprise médiocre, et à quelle vitesse nous sommes quand même montés sur cette plateforme épouvantable.
    Il y a 9 mois, dans mon nouveau poste, il y avait un bug qui m’empêchait de me connecter au compte OpenAI professionnel.
    Il leur a fallu 6 mois pour répondre à ma demande de support, et j’ai reçu une réponse générique copiée-collée qui n’avait absolument rien à voir avec mon problème.
    Nous dépensions des sommes énormes, mais impossible d’obtenir une réponse ou de trouver quelqu’un à joindre par téléphone.
    Au final, j’ai dû demander à mes collègues de créer toutes les clés à ma place.
    Puis, environ 8 mois plus tard, un beau jour, ça s’est remis à fonctionner sans aucune raison.
    Juste après, nous sommes passés à Azure OpenAI Service, parce que la plateforme d’OpenAI était bien trop catastrophique pour une entreprise sérieuse.