- Deloitte a procédé à un remboursement partiel au gouvernement australien après avoir remis un rapport à 440 000 dollars contenant des erreurs, rédigé avec l’aide de l’IA générative
- Ce rapport visait à examiner le cadre de conformité et les systèmes informatiques du système d’aide sociale, et plusieurs erreurs ainsi que des fausses citations et références inventées y ont été découvertes
- Deloitte a indiqué en annexe du rapport avoir utilisé des grands modèles de langage comme Azure OpenAI GPT–4o, sans reconnaître que l’IA était la cause directe des erreurs
- Une sénatrice travailliste a critiqué le rôle majeur joué par l’IA, estimant que le cabinet de conseil manquait de véritable expertise
- Malgré les corrections apportées au rapport final, le contenu principal, les conclusions et les recommandations restent inchangés
Deloitte rembourse le gouvernement australien pour l’usage de l’IA
Aperçu de l’affaire
- Deloitte a reconnu avoir utilisé l’IA générative pour rédiger un rapport gouvernemental d’une valeur de 440 000 dollars ; après la découverte d’erreurs, le cabinet a décidé de rembourser une partie du contrat
- Le rapport avait été commandé par le Department of Employment and Workplace Relations (DEWR) australien pour examiner le système automatisé de contrôle de conformité des bénéficiaires de l’aide sociale
- Le document signalait plusieurs problèmes, notamment un manque de lien entre les règles du cadre et le droit en vigueur, ainsi que des défaillances structurelles dans les systèmes informatiques
Usage de l’IA et problèmes constatés
- Après sa première publication le 4 juillet, le rapport a été pointé du doigt par les médias pour plusieurs erreurs et des citations inexistantes
- Selon le Dr Christopher Rudge de l’University of Sydney, le rapport présente à plusieurs endroits le phénomène de "hallucination", fréquent avec l’IA, c’est-à-dire la fabrication de sources qui n’existent pas
- Par exemple, dans la nouvelle version du rapport, le nombre de fausses citations a même augmenté, ce qui laisse entendre que certaines conclusions ont été générées par l’IA plutôt que fondées sur des sources réelles
- Deloitte a ajouté dans l’annexe de la version mise à jour du rapport l’information selon laquelle des grands modèles de langage comme Azure OpenAI GPT–4o avaient été utilisés
- Le cabinet précise qu’il s’agissait d’une chaîne d’outils fonctionnant sous licence dans l’environnement Azure du DEWR
- En revanche, il ne reconnaît pas explicitement que les problèmes de la version initiale proviennent directement de l’IA
Réactions et suites
- La sénatrice travailliste Deborah O’Neill a critiqué Deloitte en déclarant que le cabinet semblait manquer d’expertise humaine et qu’un remboursement partiel constituait des excuses insuffisantes pour un travail défaillant
- Elle a soutenu que le gouvernement et le donneur d’ordre avaient besoin de véritables experts et de preuves que le travail n’était pas dicté par l’IA
- Elle a également lancé qu’"il vaudrait mieux payer un abonnement à ChatGPT plutôt qu’à un cabinet de conseil"
- Selon l’enquête des médias, le rapport contenait des éléments inventés précis, comme des citations de rapports universitaires inexistants et des résumés erronés de décisions de justice
- Exemples : faux résumés liés à des travaux de l’University of Sydney, de professeurs de Lund University, ainsi qu’au jugement de l’affaire Robodebt (Deanna Amato v Commonwealth)
Position officielle et impact
- Deloitte a déclaré avoir réglé directement la question avec le DEWR et a souligné que les conclusions et recommandations du rapport mis à jour n’avaient pas changé
- Le DEWR a lui aussi indiqué n’avoir corrigé que certaines notes de bas de page et citations insuffisantes, tout en maintenant les recommandations globales et les points essentiels
- Certains experts estiment que, même si les conclusions générales du rapport concordent avec les éléments de preuve existants, sa fiabilité soulève des doutes
Enseignements
- Cette affaire met en lumière, au niveau sociétal, les exigences de transparence autour de l’usage de l’IA générative dans le conseil ainsi que la nécessité de garantir une expertise réelle
- Les commanditaires prennent davantage conscience de la nécessité de renforcer les processus de vérification concernant le recours à l’IA et l’identification nominative des experts
1 commentaires
Avis sur Hacker News
Pour ajouter un peu de contexte, ce rapport portait sur un système informatique controversé qui infligeait à tort des amendes suffisamment graves pour ruiner des vies, en accusant des bénéficiaires d’aides publiques de ne pas avoir respecté leurs obligations de recherche d’emploi. Ces amendes prenaient immédiatement la forme de jugements pour dette, au point que des agents de recouvrement se présentaient réellement au domicile des gens pour saisir des biens. En raison des graves défaillances du système, des amendes ont même été infligées à tort à des personnes n’ayant jamais perçu d’aide publique. Dans ce contexte, le gouvernement a payé 440 000 dollars à un cabinet de conseil comme Deloitte pour rédiger un rapport, et ils l’ont fait avec de l’IA, en y laissant encore plus d’erreurs. Si Deloitte avait aussi été chargé de construire le système, on pourrait revivre une affaire du type Royal Mail/Fujitsu
Je crains que ce genre d’abus de l’IA ne devienne une véritable question de vie ou de mort. Ce n’est pas que les gens de Deloitte soient ignorants ou démotivés, c’est qu’ils poursuivent avant tout l’argent et utilisent l’IA pour cocher vaguement les cases avant de passer au contrat suivant. Le résultat, c’est que beaucoup de vies peuvent être brisées, voire mener à des gestes désespérés. On n’est pas simplement dans la manipulation documentaire : cela peut réellement faire venir des hommes armés chez quelqu’un
Pas besoin d’imaginer, c’est déjà arrivé. Voir l’affaire de la fuite de données Deloitte Rhode Island
Si même passer par Deloitte est trop contraignant, autant confier directement le travail à OpenAI
Le problème remonte peut-être encore plus loin : il est très probable que Deloitte ait déjà participé à la construction du système d’origine
Tant qu’on parle des problèmes liés au conseil et à l’externalisation, je voudrais aussi évoquer la permutation équipe A / équipe B. Au départ, ce sont toujours des personnes très compétentes en apparence qui se présentent pour décrocher le contrat, mais une fois la signature faite, elles repartent sur d’autres démarches commerciales et on se retrouve avec l’équipe B, voire C
D’après mon expérience, dans les gros contrats de service, l’équipe A nous séduit au départ pour faire signer, puis c’est l’équipe B qui exécute réellement le travail. Et dès que notre attention baisse, on finit carrément avec l’équipe Z. Même en disant qu’on était prêt à payer à vie pour ne pas rogner sur la qualité, ils finissaient par perdre le contrat à force de cupidité
Plus les équipes grossissent, plus on voit des profils de tout premier plan faire la tournée de cent équipes, apparaître brièvement quand un client se fâche pour le rassurer, puis disparaître à nouveau. Tous les autres sont des débutants, ou presque — et maintenant avec l’IA, il y a encore moins de vrais experts. Un de mes clients a confié un projet pour 500 000 dollars et pensait rémunérer 15 personnes depuis des mois, mais après les avoir interrogées en réunion Zoom, une seule sur les 15 connaissait réellement le projet. C’était le tech lead embauché au départ, qui n’y participait plus qu’à temps partiel. À voir la qualité du code, on dirait que cinq autres environ copient-collent du code généré par codex ou claude, le font passer par une « fausse QA » puis le déploient directement. Ce genre de choses existait déjà avant l’IA ; la seule différence, c’est qu’autrefois c’étaient vraiment 15 juniors qui codaient au hasard
Cette remarque résume si bien l’époque que ça en devient presque une blague : voir cette BD Dilbert
C’est tout le principe du jeu : on rencontre les associés, puis on se retrouve avec des juniors, tout en payant des tarifs d’associé. Et si on n’a pas de chance, on finit même par devoir former soi-même les juniors
Pour présenter les choses de manière plus positive, l’une des raisons de recourir au conseil ou à l’externalisation, c’est qu’il existe des projets ponctuels de grande ampleur qu’une équipe interne ne peut pas absorber seule. Au lieu de recruter séparément plusieurs freelances pour former une équipe, il peut être plus efficace d’utiliser rapidement une équipe externe déjà structurée. En pratique, les cabinets de conseil eux-mêmes assemblent souvent des gens venus de l’extérieur pour donner l’apparence d’une équipe constituée
J’aimerais bien qu’on m’explique comment et pourquoi le conseil fonctionne. Si une personne seule ne pouvait offrir que du « conseil », on la considérerait souvent comme marginale, mais dès qu’on met cela sous forme de société, entreprises et gouvernements font la queue pour l’écouter. Les employés internes connaissent pourtant bien mieux leur entreprise que des intervenants externes qui se contentent parfois de présentations et de recherches Google, alors j’ai du mal à comprendre pourquoi ces derniers inspirent davantage confiance et gagnent autant d’argent
En réalité, quand on veut imposer une mauvaise idée sans en assumer la responsabilité, on embauche des consultants jusqu’à obtenir la réponse souhaitée. La qualité du conseil importe peu, au point qu’on peut presque les remplacer par des stagiaires ou de l’IA. Si le résultat tourne mal, on pourra toujours rejeter la faute sur le cabinet. Les employés internes, eux, donnent des conseils dans l’intérêt de l’entreprise, donc on étouffe ou ignore leur voix quand elle gêne des intérêts personnels. Et quand le problème éclate, les décideurs sont déjà partis vers un autre poste avec une ligne de plus sur leur CV
En pratique, beaucoup de grandes entreprises n’ont aucune expertise interne réelle. Il arrive aussi souvent qu’une personne se fasse passer pour l’expert et bloque le recrutement de gens meilleurs qu’elle. Les bons consultants apportent non seulement des recommandations, mais aussi des preuves de ce qu’il faut faire, et peuvent exécuter au besoin au niveau projet. Les très bons consultants IT possèdent un ensemble de compétences si rare qu’une entreprise ne peut pas forcément se permettre de les embaucher à plein temps, alors que quelques heures par mois en prestation en valent largement le prix. À l’inverse, les grands cabinets vivent surtout pour la vente et traitent les décideurs comme des VIP. Il y a aussi tout l’arrière-plan : déplacements, alcool, divertissements, etc. J’ai déjà conseillé sur un projet où j’ai publiquement démonté, devant le client, l’argumentaire absurde d’un consultant qui poussait Dynamics CRM et Sharepoint
Le conseil, ce n’est pas seulement du « conseil ». Cela inclut souvent une vraie exécution, comme l’implémentation logicielle. Plus l’entreprise est grande, plus ce qu’elle veut réellement, c’est une « garantie juridique ». Si le projet échoue, il faut une cible claire à poursuivre. La « qualité » du livrable devient secondaire par rapport à cette garantie légale. C’est le rôle du cabinet de conseil. Ils ont beaucoup de monde, y compris beaucoup de juniors. Si la qualité n’est pas au rendez-vous, ils ajoutent simplement plus de personnes ou imposent des heures supplémentaires. C’est pour cela qu’on parle parfois de « meatfarm ». Et ces structures ne coulent pas facilement. Le développement logiciel y passe aussi par plusieurs niveaux de sous-traitance ou d’offshore, chacun prélevant sa marge. Le travail lui-même est difficile, ennuyeux et rempli de tâches ingrates. Les contrats sont détaillés comme des romans. Quand j’étais junior chez Accenture, j’ai vu un devis de 3 000 euros pour un simple changement de couleur de barre de défilement sur un site web, traité par un employé en Inde avec dix lignes de code. Je suis parti peu après
En théorie, il existe aussi des gens capables de résoudre des problèmes vraiment atypiques ou disposant d’une expérience pointue dans un domaine spécialisé. On peut les réunir dans une société et vendre cette expertise avec une prime. Ce serait une erreur de supposer qu’aucun cabinet n’a de vraies compétences. Il n’y a pas que le « conseil en management » : il existe aussi du conseil technique, de la sécurité, et d’autres domaines où l’expertise est bien réelle. J’ai souvent vu des situations que les équipes internes ne pouvaient pas résoudre, ou qu’elles avaient elles-mêmes aggravées. Les bons consultants savent aussi extraire autant que possible les connaissances tacites des employés internes pour résoudre le problème. Ils ont des compétences qui recoupent celles des ingénieurs logiciels, notamment en collecte des besoins et en communication avec les managers
Voici quelques exemples concrets de l’usage du conseil sur le terrain
Dans les administrations et d’autres organisations, on ignore souvent l’avis des ingénieurs internes pour dépenser au contraire des sommes importantes en conseil externe, afin d’entendre exactement la même conclusion ou simplement de montrer qu’« on fait quelque chose » pour résoudre le problème. Parfois, c’est aussi parce que la direction ne fait pas confiance aux équipes internes, ou veut obtenir rapidement un résultat sans détourner ces équipes de leur travail principal. Dans certains cas, c’est motivé par le besoin de cocher des cases inutiles, voire par des commissions d’apport ou d’autres arrangements opaques
Comme les personnes en interne peuvent être à la fois juges et parties, faire appel à un regard extérieur n’est pas forcément toujours un mauvais choix. Un point de vue indépendant, même imparfait, peut parfois être utile justement parce qu’il n’a pas d’intérêt direct dans l’affaire
On oublie le rôle important du conseil dans la dilution de la responsabilité juridique et de la responsabilité sur les résultats
C’est une forme de « due diligence theater ». En particulier, les dirigeants veulent souvent savoir ce que recommanderaient les ingénieurs de leurs concurrents, et les consultants essaient de jouer ce rôle de relais de la meilleure recommandation possible
Le terme simple pour ça, c’est « decision laundering ». On fait appel à un cabinet externe pour donner une apparence de crédibilité à une orientation déjà décidée en interne. Même des CEO le reconnaissent en privé
Si les choses tournent mal, le directeur pourra dire : « Nous avons suivi les recommandations de Deloitte ». C’est un bouclier bien plus solide que de dire : « C’est Bob de l’IT qui l’avait dit »
Je viens d’un parcours MBA, j’ai failli entrer dans le conseil avant de me ressaisir et de devenir ingénieur logiciel. En réalité, le client des missions de conseil, c’est « le dirigeant »
On m’a déjà présenté quelqu’un comme une sorte d’assistant chargé de répondre à « Que ferait Elon ? ». Les dirigeants veulent savoir comment un concurrent — réel ou imaginaire — déciderait avec les mêmes informations. Et ils veulent aussi s’appuyer sur le jugement d’un intermédiaire jouant ce rôle de conseiller
Cela varie énormément selon le secteur et la région. Dans certaines grandes entreprises où j’ai travaillé, le client du conseil n’était pas un dirigeant, mais un niveau de management intermédiaire situé plusieurs échelons en dessous
L’essentiel, c’est une recherche légère combinée à un discours qui dit aux gens ce qu’ils veulent entendre. De ce point de vue, l’IA a une vraie chance de bouleverser le marché du conseil
Dans tout cela, la distinction entre « client » et « customer » compte aussi
Même si on trompe le gouvernement australien et qu’on gaspille l’argent public, la sanction se limite à un remboursement partiel
Le cas Craig Wright l’illustre bien. Célèbre pour s’être fait passer pour Satoshi, il avait déjà, avant ses fraudes liées au bitcoin, obtenu indûment des millions de dollars via des remboursements de TVA et de crédit d’impôt R&D, puis tenté de frauder à hauteur de dizaines de millions. Il a été découvert, a quitté l’Australie, a remboursé partiellement, et vit très bien à l’étranger sans autre véritable conséquence
En pratique, le système fonctionne presque forcément ainsi. Si une personne sur dix commet une fraude, on ne peut pas espérer récupérer intégralement les montants. On réclame seulement le « coût + le préjudice », puis on passe à autre chose. Si le remboursement intégral était la règle, les contrats seraient encore plus longs que le travail réel
Dans cette affaire, le vrai problème n’est pas l’IA en soi, mais surtout l’échec de la supervision de la rédaction du rapport. Le rôle d’un cabinet externe est de produire un travail suffisamment solide pour résister à l’examen public, et ici c’est un échec total. Le plus choquant, c’est qu’en dépit d’une telle contre-performance, on se contente d’un remboursement partiel sans réévaluer l’ensemble des contrats présents et futurs. Que les erreurs viennent de l’IA ou d’un consultant épuisé après une nuit blanche ne devrait rien changer aux conséquences
Les CEO se trompent en croyant que la GenAI va remplacer des employés, alors qu’en réalité les clients veulent aussi payer bien moins cher des livrables produits par GenAI. Les économies finissent donc par disparaître. On entre dans un cercle vicieux de marges plus faibles, de qualité dégradée et de baisse des prix
Pour compléter : les clients paient pour « un humain responsable qui mène la mission à bien ». L’IA n’a aucune capacité à assumer une responsabilité, donc cela n’a pas beaucoup de valeur pour ce type de rapport
Dans le même esprit, à l’ère post-IA, la voie du succès consiste à produire davantage avec le même effectif — voire un effectif plus important. Grâce à l’IA, l’automatisation se banalise et la valeur unitaire du travail diminue ; réduire seulement les effectifs n’est pas une stratégie de survie. Il faut au contraire faire de l’ancienne échelle et de l’ancienne qualité minimales le nouveau standard
L’idée, c’est : « faire tendre la valeur du service vers zéro tout en créant de nouvelles formes de valeur »
Ce rapport concernait précisément une politique visant à priver d’allocations chômage des personnes ne remplissant pas leurs obligations de recherche d’emploi — autrement dit, exactement le groupe dont on craint qu’il perde son travail à cause de l’IA
Du point de vue du client, si des résultats produits avec la GenAI peuvent être utilisés à moindre coût, cela ne devrait-il pas au contraire stimuler le chiffre d’affaires ? Indépendamment de la controverse autour de Deloitte, une bonne utilisation de la GenAI peut réellement améliorer les résultats
J’ai longtemps travaillé dans des cabinets de conseil, et j’ai l’impression que beaucoup de gens ne comprennent pas vraiment ce qu’est ce métier. Bien sûr, il existe des dérives et des cas peu scrupuleux, mais les avantages et la valeur du conseil sont réels. Le fait que ce marché existe encore et génère des milliards chaque année le montre bien
Certains se demandent s’il existe, en dehors du Big Four, une autre catégorie d’organisation qui crée aussi peu de valeur sociale au regard de son poids économique