- Anthropic a publié un deuxième rapport de recherche sur l’impact économique de l’IA après le lancement de Claude 3.7 Sonnet
- Ce rapport analyse les données d’utilisation de Claude.ai après la sortie du nouveau modèle le plus puissant, Claude 3.7 Sonnet
- Le jeu de données est publié et peut être téléchargé librement
Principales conclusions
- Après le lancement de Claude 3.7 Sonnet, la part d’utilisation a augmenté dans les applications de codage, d’éducation, de science et de santé
- Le nouveau mode « extended thinking » de Claude 3.7 Sonnet est principalement utilisé pour des tâches techniques
- Il est surtout utilisé pour des tâches liées aux chercheurs en informatique, aux développeurs logiciels, aux animateurs multimédias et aux concepteurs de jeux vidéo
- Publication des données d’analyse de l’assistance et de l’automatisation au niveau des tâches et des professions
- Les tâches liées aux rédacteurs publicitaires et aux éditeurs montrent le plus haut niveau d’itération du travail (rédaction conjointe entre l’humain et le modèle)
- Les tâches liées aux traducteurs et aux interprètes montrent le plus haut niveau d’action directive (le modèle accomplit la tâche avec une participation humaine minimale)
- Première publication d’une taxonomie ascendante de l’usage sur Claude.ai
- Fournit un nouveau jeu de données comprenant 630 catégories détaillées
- Cette classification devrait aider à identifier des cas d’usage que les approches descendantes existantes peuvent manquer
Évolutions depuis le lancement de Claude 3.7 Sonnet
- Analyse de 1 million de conversations anonymisées Claude.ai Free et Pro sur les 11 jours suivant le lancement
- L’usage dans le codage, l’éducation et la science a légèrement augmenté
- La hausse de l’usage pour le codage est probablement liée à l’amélioration des scores de Claude 3.7 Sonnet sur les benchmarks de codage
- La hausse dans les autres catégories peut refléter la diffusion de l’IA dans l’ensemble de l’économie, de nouvelles applications du codage à ces domaines, ou une amélioration inattendue des capacités du modèle
Schémas d’utilisation du mode extended thinking
- Le mode extended thinking est principalement utilisé dans des situations de résolution de problèmes techniques et créatifs
- Les tâches liées aux chercheurs en informatique et en sciences de l’information sont les plus fréquentes, avec presque 10 %
- Un usage important est également observé pour les tâches liées aux développeurs logiciels (environ 8 %), aux artistes multimédias (environ 7 %) et aux concepteurs de jeux vidéo (environ 6 %)
- Afin de poursuivre les recherches sur cette nouvelle capacité du modèle, un jeu de données cartographiant la part du mode de pensée associée à chaque tâche est publié
Évolution du ratio assistance vs automatisation
- L’équilibre entre usage d’assistance et usage d’automatisation reste globalement inchangé dans les nouvelles données, avec 57 % pour l’assistance
- Quelques évolutions sont observées dans les types d’automatisation et d’assistance
- Les interactions d’apprentissage où les utilisateurs demandent des informations ou des explications sur divers sujets passent d’environ 23 % à environ 28 %
- Les tâches de services sociaux affichent un taux d’usage en assistance proche de 75 %
- Les tâches liées à la production, ou aux métiers de l’informatique et des mathématiques, présentent un ratio assistance/automatisation proche de 50/50
- Aucune catégorie professionnelle n’est dominée par l’automatisation
Taxonomie ascendante
- Publication d’un jeu de données ascendant sur l’usage de Claude.ai
- Généré à l’aide de Clio et basé sur le même jeu de conversations anonymisées
- Composé de 630 clusters détaillés, avec descriptions associées, indicateurs d’adoption et analyse assistance/automatisation
- Structuré en 3 niveaux hiérarchiques
- Exemples de clusters particulièrement intéressants :
- Assistance aux systèmes de gestion des ressources en eau et aux projets d’infrastructure
- Génération de simulations basées sur la physique avec fonctions de visualisation interactives
- Assistance pour la sélection, l’implémentation et la résolution de problèmes liés aux polices de caractères
- Assistance pour créer et améliorer des documents de candidature à l’emploi
- Fourniture de conseils sur les technologies de batterie et les systèmes de recharge
Conclusion et perspectives
- À mesure que les modèles progressent, la mesure de leur impact économique doit aussi évoluer
- Les données après le lancement de Claude 3.7 Sonnet montrent une hausse relativement modeste des usages en codage, éducation et science, sans changement dans l’équilibre assistance/automatisation
- Le mode extended thinking est utilisé le plus fréquemment dans les domaines et tâches techniques
- Des schémas ont été identifiés dans les usages d’automatisation et d’assistance selon les tâches et les professions
- Au cours des prochains mois, ces indicateurs continueront d’être suivis, et de nouveaux indicateurs seront développés à mesure que les capacités progressent et que les modèles continuent d’être appliqués à l’ensemble de l’économie
1 commentaires
Anthropic Economic Index (indice économique)