Dans quelle mesure les agents IA travaillent-ils réellement de façon autonome ?
- Anthropic a analysé plusieurs millions d’interactions avec Claude Code afin de mesurer dans quelle mesure les agents IA prennent réellement en charge le travail.
- Le cœur de l’étude ne portait pas sur la performance du modèle, mais sur le niveau d’autonomie que les humains lui ont effectivement délégué.
- La plupart des tâches restent courtes, mais la durée des tâches autonomes les plus longues est passée de 25 minutes à plus de 45 minutes en l’espace de 3 mois.
- Fait intéressant, cette évolution provient davantage de l’accumulation de confiance des utilisateurs que des mises à niveau du modèle.
- Les utilisateurs expérimentés modifient leur stratégie de supervision en augmentant le taux d’approbation automatique, tout en adoptant une approche de “monitoring” avec intervention en cours de route lorsque c’est nécessaire.
- L’IA elle-même montre aussi des mécanismes d’auto-contrôle, en posant des questions ou en s’arrêtant lorsqu’elle est incertaine.
- À l’heure actuelle, la moitié des usages des agents se concentre sur le développement logiciel.
- En fin de compte, l’autonomie des agents IA est déterminée moins par la performance du modèle que par la confiance, la culture d’organisation et la structure des outils.
Aucun commentaire pour le moment.