- Les CAPTCHA restent un moyen de défense contre les bots largement utilisé, mais l’examen conjoint des déploiements réels et de l’expérience utilisateur montre que l’équilibre entre sécurité et utilisabilité est fortement remis en cause
- Dans une étude portant sur 200 sites web populaires et une étude utilisateur sur MTurk, le reCAPTCHA à clic a été le plus rapide, avec une médiane de 3,7 secondes, tandis que les CAPTCHA de type jeu, slider et hCAPTCHA difficile avaient tendance à prendre plus de temps
- Le CAPTCHA le plus rapide n’est pas toujours le plus apprécié : certains types, comme les CAPTCHA de type jeu et slider, ont reçu des évaluations relativement bonnes malgré un temps de résolution plus long
- Dans une configuration contextualisée où le CAPTCHA était intégré à un parcours de création de compte, le temps moyen de résolution a augmenté jusqu’à 57,5 % par rapport à une résolution directe, et le taux d’abandon était également plus élevé
- Plus l’âge augmentait, plus le temps de résolution de la plupart des CAPTCHA s’allongeait ; en comparaison avec les travaux existants sur les performances des bots, plusieurs types ont montré des cas où les bots étaient plus rapides et plus précis que les humains
Pourquoi les CAPTCHA sont à nouveau évalués
- Les CAPTCHA sont largement utilisés comme moyen de défense contre les bots depuis environ 20 ans, mais les techniques permettant de les contourner ou de les résoudre automatiquement ont elles aussi continué à progresser
- Les premiers CAPTCHA consistaient à lire dans une image un texte déformé puis à le saisir, mais avec les progrès de la vision par ordinateur et du machine learning, des outils automatisés avaient déjà atteint en 2014 une précision supérieure à 99 % dans certains cas
- Les CAPTCHA actuels se sont diversifiés en plusieurs formes
- Reconnaissance d’objets : « sélectionner les cases contenant l’objet indiqué »
- Texte déformé
- Puzzle : « faire glisser un bloc »
- Méthodes fondées sur l’analyse du comportement utilisateur
- Cette étude porte sur des CAPTCHA non modifiés utilisés sur le web réel
- Analyse manuelle de 200 sites web populaires
- Étude utilisateur principale auprès de 1 000 personnes via MTurk
- Étude MTurk supplémentaire consacrée séparément au taux d’abandon
- Publication de l’ensemble de données entièrement anonymisé et du code d’analyse : captcha-study
Répartition des CAPTCHA observée sur 200 sites web populaires
- Les 200 premiers sites de la liste Alexa Top ont été examinés manuellement
- 185 sites disposaient d’une procédure de création de compte
- Sur 142 sites, il était effectivement possible de créer un compte
- Chaque site a été visité à la fois avec le mode navigation privée de Chrome et avec le navigateur Tor
- Parmi les types de CAPTCHA observés, la concentration autour de reCAPTCHA était la plus marquée
- reCAPTCHA : 68 sites, soit 34 % de l’échantillon
- CAPTCHA basé sur un slider : 14 sites, 7 %
- CAPTCHA à texte déformé : 14 sites, 7 %
- CAPTCHA basé sur un jeu : 9 sites, 4,5 %
- hCAPTCHA : 1 site
- CAPTCHA invisible : 12 sites, 6 %
- Autres : CAPTCHA semblable à un ticket à gratter, CAPTCHA consistant à trouver des caractères chinois dans une image, NuCaptcha, etc.
- Le périmètre de l’étude comporte des limites claires
- L’analyse étant manuelle, elle n’a porté que sur les 200 premiers sites
- Toutes les fonctionnalités n’ayant pas été exécutées, le nombre réel de déploiements de CAPTCHA pourrait être plus élevé
- Les résultats dépendent du classement des sites web et de l’état des CAPTCHA à un moment donné
- Les CAPTCHA de sites à usage spécifique, comme le dark web, ne sont pas inclus
- Dans le jeu de données de BuiltWith couvrant 673 millions de sites web, parmi 15,2 millions de sites utilisant un CAPTCHA, reCAPTCHA représente 97,3 % et hCAPTCHA 1,4 %
- Les types de CAPTCHA utilisés dans l’étude couvrent plus de 98 % de ce grand jeu de données
Conception de l’étude utilisateur
- L’étude utilisateur principale a été menée sur MTurk auprès de 1 000 personnes, chaque participant résolvant 10 CAPTCHA dans un ordre aléatoire
- La procédure comprenait quatre étapes
- Présentation de l’étude
- Questionnaire préalable : collecte d’informations démographiques
- Tâche de résolution de CAPTCHA
- Questionnaire final : questions sur les préférences concernant les CAPTCHA qui venaient d’être résolus
- Au total, 10 types de CAPTCHA ont été utilisés
- Deux variantes de reCAPTCHA v2 : réglage le plus facile pour l’utilisateur, réglage le plus sécurisé
- Deux variantes de jeux Arkose Labs : rotation d’objet, sélection de l’objet dans la bonne orientation
- Deux variantes de hCAPTCHA : réglage facile, réglage difficile
- Un CAPTCHA Geetest à slider
- Trois CAPTCHA à texte déformé : simple, masqué, texte en mouvement
- Deux configurations ont été utilisées afin de comparer le contexte expérimental
- Configuration directe : les participants étaient informés qu’il s’agissait d’une étude sur la résolution de CAPTCHA, puis 10 CAPTCHA leur étaient présentés directement
- Configuration contextualisée : les participants étaient informés qu’il s’agissait d’une étude sur la création de compte, et un CAPTCHA apparaissait après chaque soumission de formulaire de création de compte
- Dans la configuration contextualisée, des informations synthétiques étaient fournies afin d’éviter la collecte de données personnelles, et l’objectif réel était révélé après la fin de la tâche
- Cette méthode a reçu l’approbation de l’IRB, de même que les documents relatifs à la divulgation incomplète et à la modification du consentement
- Les données des participants n’ayant pas consenti à leur utilisation après la révélation de l’objectif n’ont pas été collectées
- La rémunération des participants était initialement de 0,30 dollar pour la configuration directe et de 0,75 dollar pour la configuration contextualisée
- Après avoir constaté que les temps médians de réalisation étaient respectivement de 4,4 minutes et 11,5 minutes, les montants ont été relevés rétroactivement à 0,60 dollar et 1,50 dollar
Différences de temps de résolution et de préférence
- Le temps de résolution variait fortement selon le type de CAPTCHA
- Le reCAPTCHA à clic était le plus rapide, avec une médiane de 3,7 secondes
- L’écart entre les réglages facile et difficile n’était pas important
- Le CAPTCHA à texte déformé simple était le plus rapide parmi les textes déformés
- Les temps de résolution des variantes masquée et à texte en mouvement étaient similaires
- Pour hCAPTCHA, la différence entre les réglages facile et difficile était nette, le réglage difficile proposant des tâches d’image plus difficiles ou un plus grand nombre de tours
- Les CAPTCHA de type jeu et slider affichaient globalement des temps médians de résolution élevés, mais certains participants les ont résolus en moins de 10 secondes
- Les préférences des utilisateurs ne correspondent pas totalement au temps de résolution
- Le reCAPTCHA à clic était à la fois le plus rapide et le plus apprécié
- Les CAPTCHA de type jeu et slider prenaient plus de temps, mais ont obtenu des scores de préférence élevés
- Même le CAPTCHA le plus apprécié, le reCAPTCHA à clic, a reçu une note de 1 ou 2 de la part de 18,9 % des participants
- Même hCAPTCHA, qui affiche la préférence globale la plus faible, a reçu une note de 4 ou 5 de la part de plus de 31,0 % des participants
Les écarts créés par le contexte expérimental
- En comparant la configuration directe et la configuration contextualisée, le temps moyen de résolution en configuration contextualisée était plus élevé pour la plupart des CAPTCHA
- Le reCAPTCHA à clic facile a vu son temps moyen de résolution augmenter de 1,8 seconde, soit une hausse de 57,5 %
- Le CAPTCHA Arkose à rotation a augmenté de 10 secondes, soit 56,1 %
- En moyenne sur l’ensemble des types de CAPTCHA, la configuration contextualisée entraînait une hausse de 26,7 % par rapport à la configuration directe
- hCAPTCHA en réglage difficile présentait le temps médian global de résolution le plus élevé, mais l’écart de temps moyen de résolution entre les deux configurations n’était pas significatif
- Dans le test de Kruskal-Wallis, l’écart de temps moyen de résolution était statistiquement significatif pour tous les types de CAPTCHA, à l’exception de Geetest, du reCAPTCHA avec images et de hCAPTCHA en réglage difficile
- Plusieurs facteurs de confusion potentiels subsistent entre les deux configurations
- Les participants de la configuration contextualisée effectuaient davantage de tâches
- Les différences de rémunération et de perception de l’achèvement de la tâche ont pu influencer la motivation ou la probabilité d’abandon
Données démographiques, précision et taux d’abandon
- L’âge était lié au temps de résolution des CAPTCHA
- Pour tous les types sauf le reCAPTCHA facile avec images, les participants plus jeunes avaient tendance à afficher un temps moyen de résolution plus faible
- Des travaux antérieurs faisaient état, pour les CAPTCHA textuels, d’une hausse de 0,03 seconde par année d’âge, mais cette étude observe une hausse moyenne de 0,09 seconde par année pour l’ensemble des types de CAPTCHA
- Aucun écart important de temps de résolution n’a été observé selon le niveau d’éducation ou le genre
- Des travaux antérieurs indiquaient que les participants titulaires d’un PhD résolvaient les CAPTCHA plus rapidement que les autres groupes de niveau d’éducation, mais dans cette étude, le niveau d’éducation autodéclaré n’était pas corrélé au temps de résolution
- Certains écarts apparaissaient selon l’appareil et le mode de saisie
- Les utilisateurs d’ordinateur présentaient un temps moyen de résolution inférieur à celui des utilisateurs de téléphone mobile pour les CAPTCHA à texte déformé et le reCAPTCHA à clic difficile
- Des différences statistiquement significatives ont été observées entre clavier physique et saisie tactile pour les textes déformés simples et masqués, le reCAPTCHA à clic et le CAPTCHA Arkose de sélection
- La comparaison de la précision montre de fortes différences selon le type
- La précision de classification d’images de reCAPTCHA était de 81 % en réglage facile et de 81,7 % en réglage difficile
- La précision de hCAPTCHA était de 81,4 % en réglage facile et de 70,6 % en réglage difficile
- Pour les textes déformés, ignorer la casse augmentait en moyenne de 20 % le taux d’accord entre participants
- Variante simple : de 84 % à 93 %
- Variante masquée : de 50 % à 73 %
- Variante à texte en mouvement : de 62 % à 90 %
- En comparaison avec les performances de bots rapportées dans la littérature existante, plusieurs types de CAPTCHA montrent des résultats où les bots sont plus rapides et plus précis que les humains
- reCAPTCHA à clic : humains 3,1 à 4,9 secondes, cas de bots à 1,4 seconde et 100 % de précision
- Geetest : humains 28 à 30 secondes, cas de bots à 5,3 secondes et 96 % de précision
- Texte déformé : humains 9 à 15,3 secondes et 50 à 84 % de précision, cas de bots en moins d’une seconde et 99,8 % de précision
- reCAPTCHA avec images : humains 15 à 26 secondes et 81 % de précision, cas de bots à 17,5 secondes et 85 % de précision
- hCAPTCHA : humains 18 à 32 secondes et 71 à 81 % de précision, cas de bots à 14,9 secondes et 98 % de précision
- Dans une étude séparée sur le taux d’abandon, 18 à 45 % des participants ont quitté l’étude après la présentation du premier CAPTCHA
- Les participants de la configuration contextualisée avaient une probabilité d’abandon 120 % plus élevée que ceux de la configuration directe
- Si des utilisateurs renoncent à une tâche à cause d’un CAPTCHA, cela peut entraîner une perte d’activités sur le site web, comme un achat ou une création de compte
1 commentaires
Avis sur Hacker News
Je pense que le CAPTCHA de Google a été conçu et déployé comme un mécanisme d’entraînement pour l’IA, et que c’est pour cela qu’il a pris cette forme aujourd’hui.
Le théâtre sécuritaire autour est plutôt accessoire, et il n’est pas surprenant que l’IA sache désormais bien le résoudre. Nous l’avons entraînée comme ça pendant des années.
Au minimum, cela a pour effet d’imposer un coût à l’attaquant.
Le cœur du système, c’est l’analyse comportementale, y compris le fait que Google évalue la probabilité qu’il s’agisse d’un bot à partir des données qu’il a collectées avant même que l’utilisateur ne charge la page.
Je ne nie pas que reCAPTCHA soit une source de données d’entraînement pour Google. Il doit bien y avoir une raison particulière pour laquelle les défis reCAPTCHA V2 portent sans cesse sur l’identification d’objets liés à la circulation, et ce n’est pas comme si Google développait une IA pour la conduite autonome.
Mais cela relève du modèle économique, ce n’est pas la fonction principale, et ces données d’entraînement ne sont pas non plus directement fournies aux développeurs de bots capables de résoudre les CAPTCHA.
Aujourd’hui on confie le filtrage à des services comme Cloudflare, mais si ce type d’entraînement continue, je me demande comment même Cloudflare pourra faire la différence entre bots et humains.
J’ai souvent vu Google CAPTCHA refuser des réponses correctes ; c’est peut-être le résultat d’un entraînement qui a appris aux bots à accepter de mauvaises réponses.
Au moins, maintenant ce ne sont plus des panneaux stop, et tant mieux. Cela aurait été assez embarrassant si Google vendait d’un côté des voitures « autonomes » tout en montrant de l’autre que les robots ne savent pas reconnaître les panneaux stop.
Cette étude semble couvrir plusieurs aspects de la façon dont les humains résolvent les CAPTCHA, et je n’ai pas trouvé de passage disant que l’IA dépasse les humains. Quelqu’un sait de quelle section il s’agit ?
Résoudre reCAPTCHA v2/v3 demande plus que de cliquer sur une case et de faire un puzzle d’images. Si ce n’était que ça, ce serait déjà le chaos.
Dire que les CAPTCHA servent à entraîner l’IA est vrai au sens large, mais dans le fonctionnement des CAPTCHA modernes, je pense que c’est plutôt un effet secondaire.
Des systèmes comme reCaptcha V2+ surveillent l’analyse comportementale, comme l’historique de navigation ou les mouvements de souris sur la page. C’est pour cela que la plupart des gens n’ont qu’à cliquer sur la case.
Je ne sais même pas s’il existe de grands modèles multimodaux qui prennent les mouvements de souris comme modalité d’entrée.
Même les IA conçues pour casser les CAPTCHA ne peuvent pas utiliser les données de Google pour s’entraîner. Si l’inquiétude est que Google entraîne ses propres bots à contourner les CAPTCHA, ce n’est pas impossible, certes.
Le titre est assez putaclic, et malheureusement ce genre de titre marche bien sur HN.
À l’avenir, j’ai l’impression que la prochaine étape, quand on voudra s’inscrire quelque part, sera la vérification par carte de paiement.
On commencera probablement par bloquer les BIN prépayés. Ce sera assez horrible, mais aujourd’hui j’en suis presque à préférer payer 0,01 dollar plutôt que de résoudre un CAPTCHA ; il faut bien quelque chose.
En particulier, « sélectionnez tous les vélos », c’est du temps de vie perdu.
J’achète moins de choses, j’utilise moins les réseaux sociaux. Les balades dans la nature et les livres papier n’ont pas de CAPTCHA.
Pour que ça marche avec n’importe quel navigateur, on pourrait faire comme ça : scanner un QR code avec un iPhone ou un Android prenant en charge l’attestation, demander s’il faut approuver la connexion, puis laisser cet appareil fournir l’attestation à la place.
Si l’appareil s’avère être utilisé par un acteur malveillant, le site peut le bloquer, ce qui rend difficile le fait de lancer des attaques massives depuis un seul appareil.
Avec UPI, on reçoit un QR code ou on saisit un identifiant UPI, on appuie sur payer, et c’est fini.
Si l’on s’inquiète de la « prévention de la fraude », je pense qu’il faut régler cela avec les banques, les vendeurs et les tribunaux, plutôt que de dépendre d’intermédiaires comme eBay ou les réseaux de cartes.
Je me souviens de l’époque où je vivais en {Country} et où je n’avais absolument aucun accès à une carte acceptée pour les paiements internationaux.
HN a-t-il déjà exigé un CAPTCHA ? Il semble plutôt bien tenir avec des outils opérationnels et anti-spam basiques mais éprouvés, ainsi qu’une limitation de débit suffisante pour bloquer tout sauf les DDoS vraiment acharnés.
Il ne semble pas non plus imposer de limites absurdes au scraping ni aux clients tiers.
Et pourtant, il gère 5 millions de visiteurs uniques par mois et 10 millions de vues par jour[0].
[0] https://news.ycombinator.com/item?id=33454140
Tout ce qu’on peut faire, c’est poster du spam, ce qui a peu de valeur monétaire réelle pour un attaquant, et les outils pour gérer ce genre de choses existent depuis des décennies, comme tu l’as dit.
C’est très différent d’autres sites où la possibilité de gagner de l’argent est beaucoup plus évidente et directe.
Je ne sais pas trop pourquoi ils tiennent à l’exploiter avec seulement quelques machines. Ils doivent avoir largement assez d’argent, et l’effet promotionnel pour YC compenserait aussi la différence.
Les CAPTCHA sont trop pénibles à cause de l’ambiguïté et des problèmes d’images qui ne se chargent pas toutes
Même après avoir attendu une minute, certaines images ne finissent jamais par apparaître. Et quand elles apparaissent, il y a beaucoup trop de photos de vélos, de motos et de passages piétons
Quand un tout petit morceau déborde légèrement sur une autre tuile, je ne sais jamais s’il faut cliquer dessus. On ne peut pas non plus rafraîchir uniquement l’image qui ne s’est pas chargée, et si on rafraîchit, on a souvent l’impression de devoir tout recommencer depuis le début
Comme d’autres l’ont dit, avec Tor il arrive souvent que le CAPTCHA ne se charge tout simplement pas. Il ne montre pas les photos et reste bloqué. Les sites web ordinaires fonctionnant généralement bien avec Tor, cela semble venir du CAPTCHA
Il y a 7 ans, quelqu’un avait déjà fait cette prédiction : « Comment les machines prendront-elles le contrôle ? Les CAPTCHA deviendront si difficiles que seule l’IA pourra les résoudre, et les humains se retrouveront complètement enfermés hors d’Internet. » https://twitter.com/lapcatsoftware/status/771857826130034688
Les CAPTCHA du type « quelles sont les lettres dans cette image » ont fortement diminué pendant un temps, et cela en était probablement l’une des raisons
Le titre soumis était « AI bots are now outperforming humans in solving CAPTCHAs », ce qui enfreignait la règle de titre de HN : « utilisez le titre original, sans l’éditer, sauf s’il est trompeur ou racoleur »
Si la personne qui soumet l’article veut dire ce qu’elle juge important dans l’article, elle peut le faire en commentaire dans le fil. Son point de vue se retrouve alors sur un pied d’égalité avec celui des autres : https://hn.algolia.com/?dateRange=all&page=0&prefix=false&sort=byDate&type=comment&query=%22level%20playing%20field%22%20by:dang
Le titre a été modifié de manière trompeuse. Le titre réel et le résumé ne disent pas que l’IA dépasse « désormais » les humains
Le vrai titre est An Empirical Study & Evaluation of Modern CAPTCHAs
Depuis près de 20 ans, les CAPTCHA sont largement utilisés comme protection contre les bots, et à mesure que leur usage s’est répandu, les techniques pour les casser ou les contourner ont elles aussi continué à progresser
Dans le même temps, les CAPTCHA ont gagné en sophistication et en diversité, devenant de plus en plus difficiles à résoudre non seulement pour les bots, mais aussi pour les humains
Comme cette course aux armements ancienne se poursuit, il est important d’étudier combien de temps il faut aux utilisateurs légitimes pour résoudre les CAPTCHA modernes, et comment ils les perçoivent
Cette étude les a évalués sans modifier les CAPTCHA déployés en conditions réelles, au moyen d’une enquête manuelle sur des sites web populaires et d’une étude utilisateur
1 400 participants ont résolu au total 14 000 CAPTCHA, et de grandes différences sont apparues entre les types les plus populaires
Fait intéressant, le temps de résolution et la perception utilisateur n’étaient pas toujours corrélés
L’étude a aussi comparé les différences entre résoudre directement un CAPTCHA et le faire dans le cadre d’une tâche plus naturelle, comme la création d’un compte ; malgré plusieurs facteurs de confusion, le contexte expérimental pouvant avoir un effet, il doit être pris en compte dans les travaux futurs
Enfin, en analysant les participants qui avaient commencé une tâche sans la terminer, elle a également examiné le phénomène d’abandon de la tâche par les utilisateurs à cause des CAPTCHA
Ces articles passent à côté du fait qu’il existe plusieurs niveaux de difficulté pour les CAPTCHA
Les personnes qui utilisent un compte entreprise ou qui travaillent étroitement avec un fournisseur de CAPTCHA obtiennent des résultats très différents
Aujourd’hui, de nombreux fournisseurs de CAPTCHA choisissent ceux à présenter en mode difficile en se demandant s’ils sont insolubles pour les grands modèles de langage
Si les CAPTCHA ne sont pas volontairement rendus trop difficiles, c’est parce que des acteurs comme pex.com doivent pouvoir les contourner pour faire respecter les droits d’auteur
Je précise que je suis biaisé, ayant été fondateur de hcaptcha
Les CAPTCHA récents, où il faut par exemple faire pivoter un objet pour compléter un puzzle ou trouver des éléments identiques, me semblent meilleurs
L’ancienne méthode de lecture de caractères déformés, surtout quand il fallait deviner s’il s’agissait de
i,1oul, était encore plus agaçante