Ajustement fin de GPT-3.5 Turbo et mises à jour de l’API

• OpenAI a annoncé l’ajustement fin et des mises à jour de l’API pour GPT-3.5 Turbo, permettant aux développeurs d’adapter le modèle à des cas d’usage spécifiques.
• L’ajustement fin pour GPT-4 devrait être disponible à l’automne.
• Les premiers tests ont montré qu’un GPT-3.5 Turbo ajusté finement peut, sur certaines tâches, égaler ou dépasser les performances de base de GPT-4.
• Les données envoyées via l’API d’ajustement fin appartiennent aux clients et ne sont pas utilisées par OpenAI ni par d’autres organisations pour entraîner d’autres modèles.
• L’ajustement fin a été utilisé pour améliorer les performances du modèle dans des cas d’usage courants, notamment une meilleure contrôlabilité, des formats de sortie fiables et un ton personnalisé.
• L’ajustement fin permet aux entreprises de raccourcir les prompts tout en garantissant des performances similaires, et de traiter 4k tokens, soit deux fois plus que les modèles précédemment ajustés finement.
• L’ajustement fin est le plus efficace lorsqu’il est combiné à des techniques comme le prompt engineering, la recherche d’information et l’appel de fonctions.
• Le coût de l’ajustement fin se divise en deux parties : le coût d’entraînement initial et le coût d’utilisation.
• OpenAI propose également babbage-002 et davinci-002 comme remplaçants des modèles de base GPT-3 d’origine, et ils peuvent être ajustés finement via de nouveaux endpoints API.
• L’endpoint existant /v1/fine-tunes sera abandonné le 4 janvier 2024.
• OpenAI affirme travailler à garantir la sécurité des déploiements d’ajustement fin, et les données d’entraînement sont analysées via son API de modération et un système de filtrage basé sur GPT-4 afin de détecter les données d’entraînement dangereuses.
• Une interface utilisateur dédiée à l’ajustement fin devrait être lancée prochainement, afin de permettre aux développeurs d’accéder plus facilement aux informations sur les tâches d’ajustement fin en cours et sur les instantanés de modèles terminés.

[GN⁺]

Commentaires sur Hacker News

• OpenAI a lancé, comme promis, le fine-tuning de GPT-3.5 quelques mois après l’ouverture de l’accès à l’API GPT-4.
• Malgré les critiques sur son manque d’ouverture, OpenAI est reconnu pour son innovation rapide, devant d’autres IA open source comme Llama et Bard.
• Le coût de génération avec un GPT-3.5 Turbo fine-tuné est 8 fois plus élevé que celui du modèle de base, ce qui ne le rend rentable que pour ceux qui peuvent réduire fortement la taille des prompts.
• Une comparaison entre GPT-3.5 Turbo fine-tuné et les modèles Llama2 est demandée, ces derniers nécessitant une infrastructure louée.
• Certains utilisateurs estiment que GPT-3.5 Turbo est répétitif et imprécis, donc peu adapté à l’écriture et au code, tandis que d’autres jugent GPT-4 bien meilleur et utile comme outil d’aide à l’apprentissage ou à la résolution de problèmes.
• Une fonctionnalité souhaitée par certains utilisateurs est un découpage des prompts intégré, afin d’éliminer le besoin d’outils tiers.
• La décision d’OpenAI de ne pas proposer de modèles « non sûrs » a été remarquée, et davinci-002 comme babbage-002 entreraient tous deux dans une boucle infinie sur des complétions « non sûres ».
• Les données d’entraînement pour le fine-tuning passent par l’API de modération d’OpenAI ainsi que par un système de censure basé sur GPT-4, dont certains supposent qu’il n’est utilisé que lorsque la « sécurité » est ambiguë en raison de son coût élevé.
• Des questions ont été soulevées sur la manière de calculer le nombre de tokens nécessaires pour un fine-tuning, ainsi que sur la quantité de données généralement requise pour influencer efficacement le comportement du modèle de base.
• La possibilité de fine-tuner des modèles de type « Chat » est jugée intéressante, et la question a été posée de savoir si un modèle fine-tuné pourrait contourner les détecteurs d’IA actuels.
• Des inquiétudes sur la confidentialité ont été exprimées, avec des questions sur la durée de conservation des textes issus des appels API par OpenAI ou Microsoft.
• Dans l’ensemble, le lancement du fine-tuning de GPT-3.5 Turbo est vu comme une évolution positive, avec des attentes autour du fine-tuning en 16k.