L’avenir de l’arnaque est déjà là, simplement il n’est pas encore réparti uniformément
(manishearth.github.io)- Les LLM peuvent fabriquer des prétextes personnalisés — entretien d’embauche, urgence familiale, e-mail bancaire, romance — pour mener des arnaques sur mesure, puis enchaîner après la prise de contrôle d’un compte avec une surveillance de long terme et des attaques ultérieures
- Les arnaques classiques se divisaient entre envois de masse à faible coût et ciblage sophistiqué à coût élevé, mais les LLM comblent cet intervalle en permettant de répéter à bas coût des attaques ciblées
- Un article de 2024 estime le coût d’un e-mail de spear phishing basé sur un LLM à environ 4 centimes, et même si le scénario d’arnaque au recrutement est plus complexe, les performances des LLM en 2026 pourraient le rendre rentable
- Des heuristiques comme « écriture naturelle », « présence web solide » ou « vérification par appel téléphonique ou vidéo » servaient de substituts au coût et aux capacités, mais leur fiabilité s’érode avec le clonage vocal et les deepfakes en temps réel
- Se contenter de se méfier davantage de tous les messages ne suffit pas ; il faut de nouvelles pratiques comme des mots de passe oraux dans la famille, une vérification via un autre canal, faire davantage confiance aux canaux que l’on initie soi-même et la 2FA matérielle
Un scénario d’arnaque au recrutement créé par un LLM
- Un candidat reçoit sur LinkedIn une offre d’emploi qui semble très bien lui correspondre, puis participe à un processus d’entretien qui ressemble à une belle opportunité chez une entreprise connue
- Avant l’entretien, on lui demande de se connecter à une plateforme ressemblant à un SaaS juridique pour signer un NDA, avec un flux du type « Sign in with Google/iCloud »
- L’écran de connexion a l’air authentique, et le mot de passe saisi par l’utilisateur ainsi que le flux 2FA « appuyez sur Oui sur votre appareil » sont utilisés par l’attaquant de l’autre côté pour se connecter au vrai compte
- L’attaquant enregistre les cookies de session et fait en sorte que tout paraisse normal pour l’utilisateur afin de masquer l’accès au compte
- La suite des entretiens puis le refus final servent de mise en scène pour éviter que la victime ne soupçonne quoi que ce soit
- Des mois plus tard, la victime découvre une usurpation d’identité, des dépenses sur des cartes bancaires à son nom, une fuite partielle d’un compte-titres, ainsi que la perte d’accès à sa messagerie et à plusieurs comptes en ligne
Ce que l’on peut faire après la compromission
- L’attaquant conserve un accès durable aux e-mails et aux comptes et surveille les habitudes de la victime
- Il filtre à l’avance les e-mails d’alerte des comptes visés pour empêcher qu’ils n’atteignent la victime
- Il télécharge les fichiers dans le cloud et réutilise le compte pour se connecter à d’autres sites
- Il ouvre des cartes bancaires en exploitant les informations de la victime
- Vider directement des comptes financiers n’est pas si simple à cause des protections des systèmes financiers modernes
- Les virements bancaires en ligne peuvent être détectés, prennent plusieurs jours et les règles KYC permettent potentiellement de remonter jusqu’au compte destinataire
- Les sites bancaires utilisent souvent la 2FA et des alertes de connexion
- Malgré cela, un accès discret sur la durée peut permettre de viser des comptes moins souvent vérifiés, comme des comptes-titres
- Il est possible d’identifier le compte sur lequel le salaire est versé automatiquement
- Après avoir récupéré l’accès via une réinitialisation de mot de passe, l’attaquant peut établir un historique avec de petits virements
- En utilisant des informations du calendrier, comme des dates de vacances, il peut choisir un moment où la victime risque moins de s’en apercevoir
- Si l’arnaque semble sur le point d’être découverte, l’attaquant peut verrouiller la victime hors de ses comptes afin qu’elle comprenne plus difficilement ce qui s’est passé
Là où la structure de coût de l’arnaque change
- Les arnaques se répartissaient globalement en deux catégories
- Envoi de masse : peu coûteux, facile à exécuter, visant des personnes moins aguerries
- Ciblage : cher et sophistiqué, visant des personnes ou organisations à forte valeur, ou disposant de privilèges utiles
- Si certaines arnaques spam paraissent volontairement grossières, c’est pour faire sortir dès le départ les personnes plus expérimentées et réduire le coût de traitement ensuite
- Les personnes à l’aise avec la technique étaient relativement protégées contre les arnaques de masse grâce à de bonnes pratiques élémentaires de sécurité informatique et à une compréhension minimale du fonctionnement des systèmes
- Il existe bien des arnaques sophistiquées visant le patrimoine individuel, mais la plupart des gens pensaient avoir peu de chances d’être pris pour cible
- Les LLM modifient cette polarisation des capacités des attaquants
- Un article de 2024 estime le coût d’un spear phishing réalisé par LLM à environ 4 centimes par e-mail
- Le scénario d’arnaque au recrutement est plus complexe et plus coûteux, mais les LLM de 2026 étant plus avancés, il pourrait devenir rentable
- Les escrocs peuvent opérer des milliers d’arnaques en parallèle et étudier chaque personne pour fabriquer un prétexte adapté
Ce que les LLM apportent aux arnaques
- Des tâches qui exigeaient auparavant un effort significatif d’humains qualifiés pour chaque cible peuvent être réalisées à faible coût par des LLM
- Recherche sur la victime et choix de la meilleure approche
- Communication personnalisée qui s’ajuste en fonction des réponses
- Clonage vocal de proches de confiance
- Deepfakes en appel vidéo quasi temps réel
- Construction d’une fausse présence web crédible
- Surveillance en temps réel des ressources compromises et extension des attaques en conséquence
- Prospection et sélection des cibles
- Contournement des filtres antispam basés sur des signatures
- Recherche et chaînage de CVE connus dans des logiciels déployés non patchés
- Ces capacités existent déjà et peuvent encore s’améliorer
- Une arnaque pilotée au coût du token peut être répétée comme une boucle
for, et le passage à l’échelle rend possibles des stratégies auparavant trop difficiles à appliquer individuellement
Trois changements rendus possibles par l’échelle
- L’échelle permet la patience
- Il est difficile pour une équipe humaine d’attendre des mois ou des années face à une seule personne, mais avec des LLM gérant beaucoup de gens en parallèle, une opération peut rester dormante longtemps
- Il devient aussi possible de superposer plusieurs arnaques à des moments différents
- L’échelle permet la combinaison
- On peut par exemple recruter des mules financières avec de petites arnaques, puis s’en servir pour faciliter des détournements plus importants
- La logique du film L’Arnaque, où plusieurs petites arnaques imitaient des institutions de confiance, pourrait aujourd’hui devenir possible à bien moindre coût
- L’échelle crée de nouvelles cibles
- 1 000 comptes compromis deviennent 1 000 positions authentifiées à l’intérieur de chaque plateforme
- Des failles que les plateformes acceptaient parce que « le bénéfice est supérieur au coût d’une fraude occasionnelle » deviennent des trous béants à fermer immédiatement si 1 000 comptes sont exploités en même temps
- Le calcul évoqué dans « The optimal amount of fraud is nonzero » peut changer face à des abus massifs simultanés
- Combiner ce type d’attaque exige encore des compétences techniques, mais si des outils réutilisables se vendent sur le marché de l’escroquerie, on pourrait voir apparaître des « script kiddies de l’arnaque »
- Certains escrocs utilisent peut-être déjà ces capacités, mais comme elles ne sont pas encore généralisées, les heuristiques des particuliers et des entreprises n’ont pas encore été suffisamment recalibrées
Pourquoi les heuristiques classiques s’affaiblissent
- Face à un contact inconnu, les gens avaient l’habitude de chercher l’interlocuteur en ligne, de vérifier les messages familiaux par téléphone ou appel vidéo, et de se méfier dès que l’échange basculait vers une demande à fort impact
- Une partie de ces heuristiques servait de substitut au coût
- Une écriture fluide et personnalisée signalait qu’une vraie personne y avait consacré du temps
- Une forte présence web était difficile à fabriquer et donc coûteuse
- On supposait qu’un escroc ne déploierait pas autant d’efforts pour une seule personne
- D’autres heuristiques reposaient sur des limites de capacité
- Autrefois, il était difficile d’imiter naturellement la voix d’un membre de la famille au téléphone
- On partait du principe qu’une personne vue en appel vidéo était réelle et, si nécessaire, identifiable par la police
- Les LLM et les deepfakes déstabilisent à la fois ces deux bases : le coût et les capacités
- En conséquence, il faut désormais fournir plus d’efforts non seulement pour éviter les arnaques, mais aussi pour être sûr de ce qui est réel
- Si un proche situé dans une autre ville demande un virement d’urgence, il faut envisager en même temps la compromission de compte, l’interception des communications et le deepfake
- Une vérification supplémentaire peut aller jusqu’à se déplacer soi-même ou demander à quelqu’un sur place de confirmer
Les heuristiques institutionnelles sont aussi ébranlées
- Ce ne sont pas seulement les particuliers : les institutions financières et la régulation s’appuient elles aussi sur des heuristiques
- La protection bancaire des consommateurs aux États-Unis trace une frontière nette selon la personne qui a autorisé le virement
- Si quelqu’un accède à un compte et effectue un virement frauduleux, la banque indemnise la victime
- Si l’utilisateur a été manipulé pour faire lui-même le virement, il peut signaler le crime, mais rien n’oblige nécessairement quelqu’un à le rembourser
- Cette distinction se comprend dans un monde où le « vol de mot de passe » était plus facile qu’une arnaque de persuasion ciblée et manuelle, mais elle vacille si les LLM réduisent le coût de la persuasion ciblée
- Le Royaume-Uni a adopté en 2024 une loi imposant aux banques d’indemniser les clients trompés pour effectuer eux-mêmes un virement
- Mais si les banques devaient rembourser toutes les victimes de fraude, le coût serait massivement transféré vers elles, et elles pourraient choisir de ne plus servir les personnes jugées les plus exposées
Les nouvelles formes de défense nécessaires
- Il ne suffit pas d’être extrêmement méfiant envers chaque e-mail et chaque voix au téléphone
- Les anciennes heuristiques n’étaient que des signaux de substitution permettant de détecter des indices désormais faciles à falsifier à bas coût
- S’accrocher à d’anciennes règles de confiance, comme à l’époque où l’on interdisait Wikipedia pour les devoirs scolaires, serait une mauvaise correction du problème
- Après l’explosion de l’information sur Internet, il a fallu de nouvelles heuristiques comme la vérification des sources et le recoupement
- L’ère des LLM exige de nouvelles heuristiques face aux arnaques
- Il peut être utile de repérer l’ossature commune des arnaques
- L’urgence, le secret et l’usage d’un canal inhabituel reviennent dans de nombreux cas
- Même si la formulation devient plus sophistiquée, la structure « quelqu’un vous demande quelque chose » demeure
- Définir des mots de passe oraux en famille peut être très utile
- S’il n’y en a pas, on peut utiliser pour la vérification un événement passé peu susceptible de figurer dans des archives publiques
- Pour les proches moins à l’aise avec la technique, on peut expliquer : « si tu reçois un appel de ma part qui est grave, urgent ou secret, méfie-toi, raccroche et vérifie par un autre canal »
- Il est difficile de faire confiance à l’authenticité des communications reçues, mais les canaux qu’un utilisateur initie volontairement sont relativement plus fiables
- Un e-mail rédigé vers une adresse précise arrivera généralement à la bonne boîte de réception
- Un appel vers un numéro précis arrivera généralement au bon appareil
- En revanche, l’en-tête
from:d’un e-mail ou le numéro affiché d’un appel peuvent être falsifiés facilement
Pratiques de sécurité et adaptation à venir
- La 2FA matérielle peut aider à bloquer une grande partie de l’outillage des escrocs
- FIDO2/WebAuthn inclut, lorsqu’il est pris en charge, le domaine du site web dans l’échange cryptographique, ce qui empêche plus difficilement un site de phishing de simplement relayer la signature
- C’est considéré comme une protection plus forte que les SMS ou les applications d’authentification
- Il n’est pas réaliste de ne jamais se faire avoir, mais il est possible de devenir une cible plus coûteuse et plus compliquée
- Les défenseurs aussi peuvent utiliser les capacités des LLM
- Mozilla a utilisé Mythos pour faire du red teaming sur Firefox, puis a considéré qu’il devenait plausible de trouver avec ce type d’outils l’ensemble réel des vulnérabilités de sécurité
- Android a récemment introduit la détection des appels usurpés
- Les institutions et les systèmes peuvent mettre en place de meilleures protections avec le temps, mais cela prendra du temps et pourrait prendre la forme d’une course aux armements
- À court terme, on peut s’attendre à une forte hausse des arnaques, et chacun devrait réfléchir à ce que ce changement implique pour soi, ses amis et sa famille, ainsi qu’aux moyens de les aider
1 commentaires
Avis sur Lobste.rs
La victime ne reçoit-elle pas un e-mail d’alerte pour une nouvelle connexion ? Ne peut-elle pas aussi voir les sessions déjà ouvertes ?
Les sessions actives seraient visibles, mais tout le monde ne va pas forcément vérifier immédiatement juste après avoir reçu une demande de reconnexion. Avec les comptes Google, il n’est pas rare qu’on vous redemande parfois de vous reconnecter pour diverses raisons
Il existe des mesures d’atténuation, comme regarder plus attentivement la barre d’URL, mais tout le cadre de l’entretien est justement conçu pour faire baisser la vigilance
Et pour insister : l’arnaque décrite au début de l’article n’est qu’un exemple d’arnaque devenue bien plus facile à automatiser qu’avant, et ce n’est pas le seul type dont il faut s’inquiéter
On suppose que, parce que les composants existent plus ou moins, on peut forcément tout assembler, mais les grands modèles de langage n’ont pas une fiabilité suffisante pour que ce genre de système fonctionne correctement