Retour sur les 3 problèmes récents de Claude

Résumé des trois incidents récents (causes et solutions)

1. Erreur de routage de la fenêtre de contexte (Context Window Routing Error)

• Cause : certaines requêtes destinées au modèle Sonnet 4 ont été envoyées par erreur vers des serveurs configurés pour une fenêtre de contexte plus grande de 1M de tokens. Une modification de l’équilibrage de charge effectuée le 29 août a aggravé le problème.
• Solution : la logique de routage a été corrigée afin que les requêtes soient envoyées au bon pool de serveurs, puis le correctif a été déployé en septembre.

2. Corruption de sortie (Output Corruption)

• Cause : une mauvaise configuration des serveurs TPU de l’API Claude a provoqué des erreurs lors de la génération des tokens, entraînant l’apparition de caractères inattendus dans les réponses. Plusieurs modèles Claude ont été affectés.
• Solution : le changement mal configuré a été identifié puis annulé le 2 septembre, ce qui a résolu le problème.

3. Erreur de compilation de l’« approximate top-k » ("approximate top-k" miscompilation)

• Cause : une modification du code visant à améliorer la sélection des tokens a déclenché un bug potentiel dans le compilateur XLA:TPU, affectant Claude Haiku 3.5 ainsi que d’autres modèles.
• Solution : la modification a été annulée et l’équipe XLA:TPU a été sollicitée pour corriger le bug du compilateur. Ils sont également passés à l’utilisation de l’opération « exact top-k » pour la sélection des tokens.