- Claude 3.5 Sonnet est actuellement le meilleur modèle dans le domaine de l’IA conversationnelle
- Claude 3.5 Sonnet est disponible gratuitement sur Claude.ai et dans l’app iOS Claude. Un abonnement est aussi proposé pour des limites d’utilisation plus élevées
- Le contenu a été résumé en conservant autant que possible la structure du document, et présenté proprement en Markdown
- Il est deux fois plus rapide que Claude Opus et coûte moins cher
- La nouvelle fonctionnalité Artifacts permet de visualiser et modifier en temps réel du code, des documents, des designs de sites web, etc., dans une fenêtre séparée
- OpenAI, Google DeepMind et Anthropic développent tous des grands modèles très performants, mais la tendance actuelle est de se concentrer sur des modèles rapides, moins coûteux et malgré tout très performants
Résultats des benchmarks et des évaluations
- Le modèle surpasse les précédents dans de nombreux benchmarks, avec notamment une première place écrasante sur GPQA
- Dans une évaluation de codage fonctionnel utilisant Artifacts, il a résolu 64 % des problèmes, surpassant largement le modèle précédent (38 %)
- Dans des évaluations menées par des experts dans des domaines variés comme le droit, la finance et la philosophie, il affiche un taux de victoire élevé, de 82 % à 73 %
- Ses capacités de perception visuelle ont aussi été améliorées, et il est conçu pour limiter la reconnaissance faciale via des prompts supplémentaires
Nouvelle fonctionnalité Artifacts
- Avec Artifacts, il est possible de générer et modifier en temps réel du code, des documents, du web design, etc., dans un panneau à côté de la conversation
- Cette évolution est considérée comme une première étape vers un environnement de travail collaboratif pour l’IA conversationnelle
- À terme, la fonctionnalité devrait prendre en charge la collaboration en équipe et évoluer vers un outil de gestion des connaissances à l’échelle de l’organisation
Examen de la sécurité et de l’éthique
- Claude 3.5 Sonnet reste au niveau ASL-2 et ne présente pas encore de capacités particulièrement préoccupantes
- Le UK AISI (Institut britannique pour la sécurité de l’IA) a mené une évaluation de sécurité avant le lancement
- Le modèle montre également une amélioration par rapport au précédent en matière de taux de refus
- Anthropic maintient son principe de ne pas utiliser les données utilisateurs pour l’entraînement du modèle
- L’entreprise adopte une position réservée sur le développement des technologies de frontière, sans pour autant formuler d’engagement clair
Impact sur l’ingénierie logicielle
- Claude 3.5 Sonnet améliore fortement le travail de codage des ingénieurs, en résolvant automatiquement des points bloquants et en produisant aussi de la documentation
- Le taux de réussite des tests de pull requests est passé de 38 % avec Opus à 64 % avec Sonnet
- Chez Anthropic aussi, des non-spécialistes aux ingénieurs expérimentés, tous utilisent Claude et gagnent un temps considérable
- Il devrait réduire fortement le temps de travail des ingénieurs et rendre le codage plus accessible à tous
- Les gains de productivité en ingénierie grâce aux technologies d’IA devraient encore s’accélérer
Limites du modèle
- Il continue de se tromper sur certains puzzles ou jeux connus, même s’il peut parfois les résoudre lorsqu’on lui fournit du contexte
- Il pourrait rester vulnérable à des manipulations sophistiquées ou à des attaques
- Il semble avoir privilégié l’amélioration générale du raisonnement plutôt qu’une spécialisation sur des problèmes précis
- Il reste encore au stade de l’exploitation de connaissances produites par les humains, avec des limites fondamentales qui subsistent
Réactions des utilisateurs
- Il montre des performances remarquables dans des domaines spécialisés comme la physique, la chimie et le génie mécanique
- Les exemples d’usage d’Artifacts se multiplient, de la génération d’images SVG au développement de web apps en passant par la simulation 3D
- À l’inverse, certains estiment qu’il ne dépasse toujours pas la créativité humaine
L’avis de GN⁺
- L’arrivée de Claude 3.5 Sonnet marque un tournant majeur dans l’évolution de l’IA conversationnelle
- Les progrès en vitesse et en coût devraient élargir son usage dans de nombreux domaines, en particulier pour améliorer la productivité en ingénierie logicielle
- Avec Artifacts, il montre un potentiel d’évolution au-delà de la simple conversation vers un véritable outil collaboratif utilisable dans le travail réel. À long terme, il pourrait aussi devenir un système de gestion des connaissances pour les entreprises
- Les efforts d’Anthropic en matière de sécurité et d’éthique méritent d’être salués. Toutefois, la situation n’est pas parfaite et exige des recherches et une surveillance continues
- Alors que la concurrence avec d’autres grands modèles comme GPT-4 s’intensifie, le développement des technologies d’IA devrait encore s’accélérer. À long terme, la possibilité de développer une AGI de niveau humain ne peut être exclue
- Dans l’ensemble, Claude 3.5 Sonnet peut être considéré comme la meilleure IA conversationnelle du moment. Il devrait fortement contribuer à la transformation de la productivité des particuliers et des entreprises, même s’il devient aussi nécessaire d’anticiper ses répercussions sociales
1 commentaires
Commentaires sur Hacker News
Fonctionnalité de projet : la fonctionnalité de projet d'Anthropic est utile, et le fait de pouvoir mener plusieurs projets en parallèle est appréciable. En revanche, la fenêtre de contexte de chaque projet peut sembler petite. On espère une fenêtre de contexte plus grande à l'avenir.
Claude 3.5 Sonnet : les capacités de Claude 3.5 Sonnet en programmation sont très impressionnantes. Il aide les programmeurs experts à travailler plus vite. Pour obtenir du code de haute qualité, il faut toutefois des consignes détaillées et une évaluation des résultats.
Expérimentation de code : des expérimentations de code ont été menées avec l'API d'Anthropic, et plus de 95 % du projet a été écrit par Claude. Le résultat affiche une grande qualité.
Cohérence de Sonnet 3.5 : Sonnet 3.5 se distingue par son excellente cohérence et fournit des réponses plus stables que les modèles précédents. C'est une avancée majeure.
Évaluation des capacités de code : les capacités de GPT-4 en programmation ne sont pas jugées satisfaisantes. Comme sa vitesse de réponse a ralenti, d'autres options sont en cours d'exploration.
Comparaison des IA : Claude sonne comme un humain et est performant pour les questions liées aux données. GPT-4 est meilleur en raisonnement logique. Le prix et la vitesse de sortie sont similaires.
Graphique de benchmark : il n'y a pas d'accord avec l'affirmation selon laquelle le graphique de benchmark s'accélère. Un graphique plus détaillé est nécessaire.
Blocage de compte : un compte a été bloqué sur Anthropic Sonnet après une vérification automatique. Cela pousse à préférer l'abonnement OpenAI.
Technologie de pointe : l'environnement actuel, très concurrentiel, du développement de l'IA est passionnant. C'est un plaisir de vivre directement cette époque.
Fonction de résumé de l'IA : il est très utile que l'IA résume différentes options de design et de nouvelles stacks technologiques. Le coût des conversations avec des exemples de code est peu élevé.
Nivellement vers le haut des modèles de ML : avec le même dataset, on obtient des modèles aux performances similaires. Les données peuvent faire la différence dans les performances des modèles. Les technologies de ML restent largement communes.