Devin, le premier ingénieur logiciel IA

• Devin est le premier ingénieur logiciel IA entièrement autonome au monde
• Devin peut travailler avec des ingénieurs humains ou de manière indépendante, et permet aux ingénieurs de se concentrer sur des problèmes plus intéressants
• Devin peut planifier et exécuter des tâches d’ingénierie complexes, et utiliser des outils de développement comme le shell, l’éditeur de code et le navigateur

Capacités de Devin

• Devin a réalisé des avancées en raisonnement et en planification à long terme, et peut accomplir des tâches d’ingénierie complexes en prenant des milliers de décisions.
• Il peut collaborer avec l’utilisateur, rendre compte de sa progression en temps réel, recevoir des retours et co-définir les choix de conception.
• Devin peut apprendre des technologies qu’il ne connaît pas, construire et déployer des applications, trouver et corriger des bugs dans une base de code, ainsi qu’entraîner et affiner ses propres modèles d’IA.

Performances de Devin

• Sur le benchmark de code SWE-bench, Devin a atteint un taux de réussite de 13,86 % pour la résolution de vrais tickets GitHub, dépassant largement le précédent record de 1,96 %.
• Devin a été évalué sur un sous-ensemble aléatoire de 25 % du jeu de données, et a travaillé sans assistance alors que d’autres modèles recevaient l’indication précise des fichiers à modifier.

Présentation de Cognition

• Cognition est un laboratoire de recherche en IA appliquée centré sur le raisonnement.
• L’objectif est de développer des collègues IA offrant des capacités qui dépassent les outils d’IA actuels.
• Cognition a levé 21 millions de dollars en série A dans un tour mené par Founders Fund, et bénéficie du soutien de leaders du secteur.

Recruter Devin

• Devin est actuellement en phase d’accès anticipé, et si vous souhaitez l’utiliser pour des tâches d’ingénierie, vous pouvez contacter Cognition.

Rejoignez-nous

• L’équipe de Cognition est de petite taille, et l’équipe fondatrice réunit des leaders et builders détenant 10 médailles d’or à l’IOI, avec une expérience chez Cursor, Scale AI, Lunchclub, Modal, Google DeepMind, Waymo et Nuro.
• Construire Devin n’est que la première étape, et les défis les plus difficiles restent à venir.

L’avis de GN⁺

• Cet ingénieur logiciel IA nommé Devin symbolise l’avenir du développement logiciel et a le potentiel d’améliorer fortement l’efficacité du travail d’ingénierie grâce à la combinaison de l’automatisation et de l’IA.
• Le fait qu’une IA affiche un taux de réussite aussi élevé pour résoudre de vrais problèmes d’ingénierie constitue une performance remarquable, et montre à quel point les avancées de l’IA peuvent bien s’intégrer à des environnements de travail réels.
• Il reste toutefois nécessaire de réfléchir aux implications éthiques et sociales du remplacement du travail humain par l’IA. Une approche prudente est requise concernant l’impact de son adoption sur l’emploi et l’évolution du rôle des humains.
• Parmi les autres outils de développement basés sur l’IA offrant des fonctions similaires, on peut citer GitHub Copilot, largement utilisé pour assister les développeurs dans l’écriture de code.
• Lors de l’adoption de technologies comme Devin, il faut prendre en compte la sécurité des données, la protection de la vie privée, ainsi que les questions de transparence et de responsabilité liées aux décisions de l’IA. Il est important de comprendre et de gérer l’impact des décisions de l’IA sur les entreprises et les utilisateurs.

[yangeok]

J’aimerais bien essayer Devin gratuitement.

[GN⁺]

Avis Hacker News

• En tant que développeur et responsable produit, il a essayé de coder avec l’IA, mais a échoué à cause de la longueur de contexte, de sorties médiocres des modèles et de l’absence d’architecture. Il n’a pas réussi à faire faire à l’IA des tâches utiles au-delà de l’aide sur Leetcode. Il a même tenté, avec plusieurs modèles d’IA, d’extraire des sélecteurs depuis une simple page HTML, sans succès. Il avait de grandes attentes vis-à-vis des avancées technologiques, mais veut un produit qui fonctionne réellement.
• Les humains cherchent un travail qui donne du sens et de la satisfaction. Avec le progrès technologique, les artisans deviennent les premiers à être rendus inutiles. La société envoie le message que si l’on ne produit pas de valeur, on ne mérite pas la dignité. En confiant l’art et l’ingénierie à l’IA, même ceux qui ne les comprennent pas peuvent y accéder à bas coût. Cela pose la question de savoir à qui profite le progrès technologique, et quelle sera la place de l’humain à l’avenir.
• Scott Wu fait partie du petit nombre de personnes à avoir obtenu un score parfait depuis 1989, et ils se sont rencontrés lors des olympiades de programmation compétitive. C’est réjouissant de le voir mettre à profit son talent exceptionnel.
• Peu impressionné par un site web permettant de téléverser des fichiers de taille arbitraire sans authentification. Il a envoyé un fichier de 500 MB sur le serveur.
• Si l’IA est excellente, il faut l’utiliser à bon escient. En tant qu’ingénieur logiciel senior, écrire du code ne représente pas 90 % du travail : il s’agit plutôt de découper des exigences complexes en tâches claires, de repérer les angles morts dans les besoins, d’écrire le minimum de code nécessaire et de comprendre la codebase. Plus qu’un « ingénieur logiciel IA », il faudrait un « interlocuteur humain IA ».
• La démo est impressionnante, mais sa portée est limitée, ce qui fait douter de sa performance en situation réelle. Des questions demeurent : est-ce qu’elle peut faire de l’architecture logicielle, la solution n’est-elle qu’une simple reproduction, et à quelle fréquence le fait qu’une solution ne soit correcte qu’à 90 % posera-t-il problème ?
• Pour quelqu’un ayant de l’expérience en développement backend, les LLM apportent un gain de productivité étonnant pour la génération de code lorsqu’on maîtrise bien les bibliothèques, frameworks et langages de base. Mais il faut toujours tout connaître soi-même, et l’IA ne peut pas tout faire automatiquement.
• La démo est impressionnante et il félicite pour le lancement, mais il se demande si les bugs rencontrés par Devin peuvent être résolus par de simples correctifs. Par exemple, envelopper du code dans un try-catch pour corriger une KeyError permet de l’exécuter, mais ce n’est pas toujours la solution idéale.
• Les LLM en sont encore au stade de la « recherche de rimes ». On ne sait pas encore s’ils pourront passer à la « pensée rationnelle », alors que le code exige un raisonnement sur des problèmes complexes. Vu la vitesse des changements, il n’exclut aucune possibilité.
• En tant que personne travaillant dans ce domaine, il estime que l’usage actuel de l’IA pour le code se situe au niveau des outils d’assistance et de l’autocomplétion avancée. Des entreprises comme Pythagora considèrent aussi que l’intervention humaine reste essentielle, et l’on peut voir les LLM comme des développeurs juniors enthousiastes qui exécutent rapidement les consignes. Avec des prompts internes et un léger guidage humain, ils peuvent produire des résultats étonnants.