L’impact de l’IA générative sur le travail hautement qualifié : une expérience avec des développeurs logiciels

 (papers.ssrn.com)
1 points par GN⁺ 2024-09-08 | 1 commentaires | Partager sur WhatsApp

Résumé

  • Aperçu de l’étude
    • Cette étude évalue l’impact de l’IA générative sur la productivité des développeurs logiciels à travers trois expériences contrôlées randomisées menées chez Microsoft, Accenture et une entreprise anonyme de fabrication électronique du Fortune 100.
    • Les expériences ont été réalisées dans le cadre du travail quotidien de chaque entreprise, en fournissant à des développeurs sélectionnés aléatoirement GitHub Copilot, un assistant de codage basé sur l’IA.
    • Menée auprès de 4 867 développeurs logiciels au total, l’étude a constaté une hausse de 26,08 % du nombre de tâches terminées chez les développeurs utilisant des outils d’IA (erreur standard : 10,3 %).
    • Les développeurs les moins expérimentés ont notamment montré des taux d’adoption et des gains de productivité plus élevés.

Le résumé de GN⁺

  • Cette étude montre que l’IA générative peut améliorer de manière significative la productivité des développeurs logiciels.
  • Elle est particulièrement utile aux développeurs les moins expérimentés, ce qui suggère que les outils d’IA peuvent contribuer à atténuer la courbe d’apprentissage.
  • Des outils d’IA comme GitHub Copilot peuvent jouer un rôle important dans l’amélioration de l’efficacité du développement logiciel.
  • Parmi d’autres projets offrant des fonctionnalités similaires figurent TabNine et Kite.

À lire aussi

1 commentaires

 
GN⁺ 2024-09-08
Avis Hacker News

  • Avis d’un ingénieur expérimenté

    • Copilot est plutôt une source de distraction pour les ingénieurs expérimentés
    • L’IA est très utile dans les étapes qui précèdent le codage
    • Les développeurs expérimentés peuvent en tirer des bénéfices encore plus importants s’ils savent bien utiliser l’IA

  • Inquiétudes sur la baisse de qualité de la main-d’œuvre IT

    • Les entreprises confient davantage de rôles à une seule personne pour réduire les effectifs
    • L’introduction de DevOps et de DevSecOps s’est accompagnée de réductions d’effectifs
    • Il est difficile pour les nouveaux développeurs d’apprendre de nombreux rôles dans des environnements complexes
    • Le recours à ChatGPT est une conséquence naturelle

  • Dette technique liée à l’usage de l’IA par les développeurs moins expérimentés

    • Les développeurs expérimentés doivent résoudre la dette technique créée par l’usage de l’IA par des développeurs moins expérimentés
    • Les développeurs qui s’intéressent peu à la technologie montrent davantage d’intérêt pour l’IA

  • Manque de synthèse des résultats de l’étude

    • Les résultats de l’étude sont résumés de manière trop simpliste
    • Les résultats varient fortement selon l’entreprise et l’expérience des développeurs
    • Chez Microsoft, aucun résultat statistiquement significatif n’a été observé

  • Impact des LLM sur la progression des développeurs

    • Les LLM peuvent freiner la progression des développeurs
    • Chez les développeurs juniors, l’usage des LLM peut se substituer au processus d’apprentissage
    • La compétence réelle devient alors l’ajustement des prompts

  • Différence de productivité entre développeurs expérimentés et juniors

    • Même avec Copilot, le gain de productivité des développeurs expérimentés reste limité
    • Le gain de productivité des juniors peut se traduire par une baisse de productivité chez les développeurs expérimentés

  • L’aide de l’IA lors de l’apprentissage de nouvelles technologies

    • L’IA est plus utile lorsqu’on apprend de nouvelles technologies

  • Mise à jour de Copilot

    • Copilot fonctionne sur la base de GPT-3.5
    • Copilot Chat, mis à jour avec GPT-4, a été lancé le 30 novembre 2023

  • Ce que signifie l’augmentation du nombre de PR

    • L’augmentation du nombre de PR n’est pas ce qui compte le plus
    • Ce qui importe, c’est de savoir si l’IA augmente le nombre d’éléments qui passent la QA, si elle réduit les bugs, etc.
    • Compter simplement le nombre de PR n’est pas utile

  • Résultats de l’usage de l’IA en entreprise

    • Dans certaines entreprises, l’usage de l’IA a conduit au licenciement des développeurs les moins efficaces