Anthropic : « Les candidats ne doivent pas utiliser d’assistant IA »
(simonwillison.net)- Le formulaire de candidature d’Anthropic comprend une clause par laquelle le candidat accepte de ne pas utiliser d’assistant IA, afin de montrer directement ses centres d’intérêt et ses compétences
- L’entreprise encourage l’usage de systèmes d’IA dans le travail une fois embauché, mais exige, pendant le processus de candidature, des réponses non médiées par l’IA
- Cette politique vise aussi à évaluer les capacités de communication sans assistance d’IA des candidats
- Le candidat doit indiquer Yes pour confirmer qu’il a lu et accepté ces consignes avant de pouvoir poursuivre la procédure de candidature
- La réponse à la question « Pourquoi voulez-vous travailler chez Anthropic ? » est évaluée avec attention, et une bonne réponse compte généralement 200 à 400 mots
Restriction de l’usage de l’IA dans le formulaire de candidature
- Le formulaire de candidature en ligne d’Anthropic inclut une mention indiquant de ne pas utiliser d’assistant IA pendant le processus de candidature
- La même consigne précise que, dans le poste une fois recruté, l’entreprise encourage les personnes à utiliser des systèmes d’IA pour travailler plus vite et plus efficacement
- En revanche, au stade de la candidature, elle cherche à vérifier l’intérêt personnel du candidat, sans passage par un système d’IA
- Les capacités de communication sans assistance d’IA du candidat font également partie des éléments évalués
Points que le candidat doit confirmer et renseigner
- Le candidat doit indiquer Yes pour confirmer qu’il a lu et accepté cette politique
- Il doit ensuite répondre à la question « Pourquoi voulez-vous travailler chez Anthropic ? »
- Cette réponse est évaluée de manière importante, et il est indiqué qu’une bonne réponse compte généralement 200 à 400 mots
1 commentaires
Avis de Hacker News
En prenant le contre-pied, cette exigence ne me paraît pas particulièrement erronée, et en tant que candidat je la considérerais comme une information utile sur le processus de candidature
Anthropic encourage l’usage de l’IA, mais demande poliment que le texte de la candidature soit rédigé par la personne elle-même, et cela me semble raisonnable au point qu’on peut s’y conformer
Une approche du type « est-ce que je peux utiliser l’IA sans me faire prendre, est-ce que c’est de la triche » ressemble à mentir lors d’un premier rendez-vous. Si l’on ne cherche qu’un résultat à court terme, cela peut marcher, mais si l’on veut une collaboration à long terme et que l’on va passer des entretiens avec plusieurs personnes intelligentes, il vaut bien mieux simplement jouer le jeu
On pousse sans cesse les LLM comme nouveau mode de communication, on encourage les gens à rendre leurs textes plus « aimables » ou plus « professionnels », puis l’entreprise même qui fabrique ces outils demande précisément aux personnes qui s’y intéressent le plus de ne pas les utiliser à cette fin
Le message est que c’est acceptable de les utiliser pour les autres, mais pas pour eux ; c’est drôle et hypocrite, et cela révèle un peu le fond de la pensée de ce genre d’entreprises
Ça me rappelle Roy Wood Jr quand il était allé à un rassemblement pro-armes. Ils affirmaient que les armes rendaient les gens plus en sécurité, tout en demandant de ne pas en porter dans l’enceinte de l’événement parce qu’ils s’inquiétaient de la sécurité : on retrouve la même dissonance cognitive
https://youtube.com/watch?v=m2v9z2S5XzQ&t=190
J’ai lu quelque part que les gens deviennent plus égoïstes[1], mais voir pousser l’individualisme et l’égoïsme avec des arguments du type « ce n’est pas illégal » ou « on ne peut pas le détecter » reste choquant
L’idée même de ne pas respecter une demande polie de ne pas utiliser l’IA m’est difficile à concevoir. Si cela me pénalise fortement sur le marché du travail, je l’accepterai
Il y a 20 ans déjà, mes camarades faisaient des choix qui me semblaient égoïstes pour prendre de l’avance, et cela ne me dérangeait pas de suivre une autre trajectoire plus basse sans faire ces choix. Mais je veux quand même exprimer mon agacement face au fait que des gens justifient l’égoïsme, ou ne considèrent même pas comme égoïste le fait d’ignorer cette demande
[1] https://fortune.com/2024/03/12/age-of-selfishness-sick-singl...
C’est un peu comme une entreprise de tabac qui dirait à ses employés de ne pas fumer
Le respect doit aller dans les deux sens. Là, ce n’est pas de la collaboration, mais plutôt un ordre hiérarchique à sens unique destiné à les protéger eux-mêmes des effets néfastes de l’outil qu’ils vendent
L’impression extérieure n’est pas bonne. Soit ils assument pleinement leur produit, soit ils doivent accepter les moqueries et les soupçons sans fin
Il y a deux choses inversées dans la formulation : « veuillez ne pas utiliser d’assistant IA pendant le processus de candidature. Nous voulons comprendre votre intérêt personnel pour Anthropic sans médiation d’un système d’IA, et évaluer aussi votre capacité à communiquer sans aide de l’IA »
Premièrement, on ne peut pas demander aux gens de ne pas utiliser l’IA dans une situation où, si elle est utilisée avec prudence et responsabilité, elle est indétectable. On peut obtenir d’excellentes réponses sans IA et d’excellentes réponses avec IA, et il sera impossible de distinguer les deux. Au final, on ne pourra filtrer que les mauvaises réponses et la dyslexie
Deuxièmement, cela reste une approche selon laquelle l’IA est de la triche, alors que j’espérais qu’Anthropic soit une entreprise qui mène la réflexion sur l’usage responsable de l’IA
Dans la vie, la triche n’existe pas vraiment ; on optimise simplement le mauvais objectif. Si l’IA a fait les devoirs à votre place, les devoirs ne sont qu’un indicateur indirect du talent, et l’IA ne vous a pas donné ce talent. Si l’IA a produit le livrable final mais que vous ne le comprenez pas, vous n’avez pas été aidé : vous en êtes dépendant
Les seniors en poste ne semblent pas bien s’en rendre compte, mais les LLM ne développent pas la mémoire musculaire chez les jeunes professionnels. Au contraire, ils les enferment dans des boucles interminables de correction de bugs ou dans la tentative de démêler un bazar de code
On peut en tirer un peu de valeur pour apprendre, mais cela a ses limites. Quand j’ai commencé, j’ai énormément appris en lisant des livres d’algorithmes, puis en les implémentant moi-même et en les cassant. Aujourd’hui, j’ai assez d’expérience pour repérer les mauvaises réponses et utiliser les LLM, mais j’ai quand même l’impression que cela me rend un peu paresseux
La plupart des gens apprennent mieux en faisant plusieurs fois eux-mêmes qu’en lisant quelques chapitres d’un livre. Si l’on applique un LLM au problème, on finit surtout par s’exercer à utiliser un LLM ; cela peut être utile en soi, mais cela peut aussi transformer quelqu’un en spécialiste d’une seule approche, incapable de faire ce qu’il faut quand il ne peut pas utiliser un LLM
Pas plus tard qu’hier, j’ai vu un enfant de 14 ans copier-coller du baratin de ChatGPT dans un devoir d’informatique pour le GCSE, et ce n’était pas de l’apprentissage. Il ne l’avait même pas lu ; c’était juste du texte lancé pour voir s’il passerait auprès de l’examinateur
Le recrutement est aussi un jeu de nombres pour les candidats sous-qualifiés. En utilisant le même raccourci pour augmenter le nombre de candidatures, on finira par obtenir un « résultat », mais ce n’est qu’un avantage à court terme, et la compétence réelle pour faire le travail n’est toujours pas là
Heureusement, c’est en général assez facile à voir, donc je les élimine presque immédiatement
En supposant qu’au final son niveau d’anglais soit insuffisant pour le poste, elle aura alors fait perdre son temps à tout le monde, elle-même et l’entreprise
Je doute qu’Anthropic manque de candidats
Si l’on veut évaluer les performances d’un candidat dans une situation où il ne peut pas utiliser l’IA, il suffit, à mon avis, de s’asseoir dans la même pièce et de discuter avec lui.
Si l’on demande de ne pas utiliser l’IA pour une tâche où son usage donne un avantage et est difficile à détecter, cela finit par pénaliser les personnes honnêtes.
Dans le processus de recrutement, ils veulent utiliser l’IA eux-mêmes. Ils veulent déléguer leur travail et leurs biais à une machine, mais ne veulent pas que les autres fassent de même.
Ce n’est pas pour rien que la législation européenne sur l’IA fait de l’IA utilisée pour recruter des personnes l’un de ses principaux objets de régulation.
En donnant au contraire l’indice qu’il faut répondre soi-même, cela pourrait même avantager les personnes honnêtes.
En tant que personne autiste et dyslexique, cette exigence de candidature me met vraiment mal à l’aise.
Je pense visuellement, et j’ai des idées valables ainsi que des points de vue singuliers, mais j’ai parfois du mal à transformer mes pensées visuelles en paroles ou en écrits traditionnels. Les outils d’IA me sont extrêmement précieux et comblent le fossé entre la pensée visuelle et l’expression écrite attendue au travail.
Les LLM sont, par nature, des outils de traduction. De la même manière que d’autres utilisent un correcteur orthographique ou un logiciel de dictée, j’utilise les LLM pour traduire des pensées imagées en mots. Ils ne changent pas mes idées ni mes intuitions ; ils m’aident simplement à les exprimer dans un format compatible avec les personnes neurotypiques.
Anthropic développe des systèmes d’IA censés être bénéfiques à l’humanité, mais exclut explicitement, dans son processus de candidature, les personnes qui utilisent l’IA comme outil d’accessibilité. C’est comme demander à quelqu’un de ne pas utiliser, pendant le processus de candidature, l’outil d’assistance dont il se sert habituellement.
Dire que l’on veut évaluer les « capacités de communication sans aide de l’IA » revient à dire que l’on veut évaluer ma capacité à communiquer sans mon outil d’assistance. Pour moi, la communication assistée par IA montre au contraire mes pensées de façon plus authentique. Je ne cherche pas à obtenir un avantage injuste ; je cherche à mettre la ligne de départ au même niveau pour que mes idées puissent être comprises par les autres.
Une entreprise qui construit des systèmes d’IA ne devrait-elle pas aussi vouloir le point de vue de talents issus de la neurodiversité, qui ont une compréhension unique de la façon dont l’IA peut réellement aider les gens à penser et à communiquer différemment ?
Au départ, j’abordais la question avec une attitude du type « l’IA, c’est mauvais », et honnêtement, je pense encore cela. Mais il présente des arguments très convaincants sur les raisons pour lesquelles il faudrait autoriser l’IA et l’observer attentivement.
L’analogie avec le correcteur orthographique a été particulièrement décisive. Elle rejoint aussi l’idée que « l’IA » n’est pas une seule chose, mais un spectre très large. Par exemple, je ne vois pas de problème à ce qu’un candidat utilise un éditeur qui signale la grammaire.
Il est difficile de savoir où tracer la ligne, mais peut-être vaut-il mieux ne pas en tracer. Il suffit de mener l’entretien et, s’il inclut du codage pratique, d’observer si le candidat utilise ou non l’IA et d’évaluer en conséquence. S’il se comporte comme un simple proxy, on ne l’embauche pas. Pour le reste, il faut juger de son degré de dépendance à l’IA et de sa capacité à bien l’utiliser comme outil. Ce n’est pas facile, mais c’est probablement mieux qu’une interdiction totale.
Je vois cela comme quelque chose de comparable à une personne aveugle qui utilise un outil de synthèse vocale. Qu’importe la manière dont le travail est terminé ? Ce qui compte, c’est la qualité du résultat et la possibilité d’interagir avec la personne.
Autre exemple : imaginons quelqu’un qui ne peut travailler qu’en pair programming avec un collègue. Séparé, il est totalement inutile, mais ensemble, ils sont environ 150 % plus productifs que deux programmeurs en binôme ordinaires. L’embaucheriez-vous ? Combien paieriez-vous les deux en tant que paire ? À mon avis, la bonne réponse est de les embaucher, et de les payer plus que la moitié d’un salaire chacun. Sans la bureaucratie, j’aimerais essayer.
C’est un texte remarquable, et merci pour ces réflexions. Vous m’avez montré que j’avais tort et vous m’avez donné l’occasion de me rapprocher d’une position plus juste.
C’est un problème assez difficile. Ces entreprises d’IA se développent autour de l’idée que les gens ne seront pas bientôt remplacés par l’IA, mais par des personnes capables d’utiliser efficacement l’IA pour atteindre une productivité 10x.
Si l’IA transforme un développeur moyen en développeur 10x, pourquoi ne pas vouloir l’observer en entretien ? D’autant que, ces derniers mois, il est devenu trivial de tromper ce système d’entretien. Le problème n’est pas le candidat, mais une méthode d’entretien dépassée.
L’IA risque plutôt de masquer la capacité à repérer les pièges, à juger des décisions de conception et d’architecture nécessaires à un vrai rôle d’ingénierie. Surtout pour un candidat senior ou plus, on veut évaluer sa manière de réfléchir au problème, et voir ressortir son expérience, sa compréhension technique et sa capacité de communication.
Nous ne cherchons pas à travailler avec une IA, nous voulons payer pour le temps d’un humain. Face à un problème difficile, on veut recruter quelqu’un qui n’éteint pas la moitié de sa cognition.
On voit alors rapidement qui comprend réellement son propre travail.
Comme il a réduit par dix le temps d’écriture du code grâce à l’IA, est-ce que cela en fait un programmeur 10x génial ?
Bien sûr, on pourrait dire qu’il suffit de rendre l’exercice assez complexe pour que l’IA ne puisse pas le résoudre, mais les systèmes d’IA changent en permanence, collectent les prompts des utilisateurs et s’améliorent. En plus, il arrive que le candidat soit encore au début du processus de recrutement et qu’il ne soit pas justifié de lui demander d’investir beaucoup de temps dans un exercice complexe. Il est simplement plus facile et plus efficace de demander de ne pas utiliser l’IA.
À l’époque, la réaction des concepteurs d’examens était la même : « Le problème, ce n’est pas nous, c’est la machine. Interdisons-la ! »
À long terme, la conclusion a été que si l’on pouvait tricher avec une calculatrice, c’était tout simplement un mauvais examen.
Je pense qu’il y a ici un refus d’admettre un problème de compétence du côté de ceux qui conçoivent l’examen. Si l’examinateur faisait mieux son travail, il n’aurait pas besoin d’interdire aux candidats d’utiliser l’IA. C’est surprenant de voir une telle réaction chez Anthropic.
Je mène beaucoup d’entretiens techniques dans la Big Tech, et je suis ouvert au fait que les candidats utilisent ouvertement des outils d’IA.
Je ne comprends pas pourquoi la plupart des entreprises les interdisent. Il faudrait l’accepter, ou au moins l’expérimenter sous forme de programme pilote.
Les résultats ne changeraient probablement pas beaucoup. Par exemple, en coding interview, l’IA ne peut pas apprendre sur place à quelqu’un à programmer ou à raisonner, et l’objectif de l’entretien n’a jamais été simplement de trouver la bonne réponse à un puzzle de code.
Pour moi, un entretien sert à voir comment le candidat raisonne, comment il communique, s’il comprend les bases : théorie des structures de données, scalabilité, ce genre de choses. Si, face à un puzzle, il colle une réponse optimisée sans justification ni explication, qu’elle vienne de l’IA, de la mémorisation ou de Stack Overflow, il ne réussit pas l’entretien.
Alors de quoi a-t-on peur ? Que des gens copient-collent des sorties d’IA et qu’on ne sache plus les distinguer des vrais bons candidats ? Je ne trouve pas ça réaliste.
C’est pourquoi dire « l’IA n’est pas autorisée » me semble plus clair. En tant qu’intervieweur, ce que je veux observer, c’est le raisonnement, la communication et la compréhension des bases du candidat ; s’il utilise l’IA, il devient difficile de savoir ce qui vient de lui et ce qui vient de l’IA.
Cela ne veut pas dire que l’IA n’est pas un outil utile, mais qu’elle réduit la quantité de signal obtenue en entretien. Et l’hypothèse est de toute façon que les personnes les plus performantes sauront aussi mieux utiliser l’IA.
Quelqu’un qui demande « résous ce problème », quelqu’un qui demande « quelle est la différence entre un tableau et un dictionnaire », et quelqu’un qui demande « quelle est la complexité temporelle d’une insertion dans une hashmap » ne sont pas le même type de candidat.
Ces questions donnent des indices subtils sur ce que le candidat sait et sur sa manière d’aborder la compréhension du problème et de la solution.
Anthropic a bien fait. Il y a aujourd’hui trop de gens dans le secteur qui rationalisent la triche avec l’IA.
Et ceux qui disent que ce n’est pas grave d’écrire une candidature avec l’IA ignorent peut-être ceci : premièrement, les questions de candidature ont parfois un vrai objectif. Deuxièmement, certaines personnes savent lire beaucoup de choses dans ce que vous dites et dans la manière dont vous le dites.
La citation complète est celle-ci, et il me semble que la plupart des commentaires ici omettent le début :
« Nous encourageons l’utilisation des systèmes d’IA au travail pour travailler plus vite et plus efficacement, mais nous vous demandons de ne pas utiliser d’assistant IA pendant le processus de candidature. Nous voulons comprendre votre intérêt personnel pour Anthropic sans médiation d’un système d’IA, et nous souhaitons aussi évaluer vos capacités de communication sans assistance de l’IA. Si vous avez lu et acceptez cela, veuillez cocher “Yes”. »
L’ironie est évidente, mais ce qui est intéressant, c’est qu’Anthropic vous demande en fait de ne pas montrer de façon réaliste la manière dont vous travailleriez réellement.
Cela ressemble un peu à demander à un développeur, lors d’un exercice de code, de n’utiliser que Vim et de ne pas utiliser VS Code ni un autre IDE complet.
Si l’on sait que les employés utilisent des LLM au travail, et qu’on les y encourage même, on devrait vouloir voir à quel point un candidat sait se montrer sous son meilleur jour dans les mêmes conditions.
En repensant à mes années d’université, les examens consistaient soit à écrire du code sur papier pendant 3 à 4 heures, soit en devoirs à la maison comptant pour 50 % de la note finale. Pour les devoirs à la maison, personne ne s’attendait à ce que les étudiants n’utilisent que stylo et papier.
On était libre d’utiliser des livres ou de chercher de l’aide sur le Web, mais il n’était pas autorisé de copier du code trouvé sans le citer, ni de collaborer avec d’autres personnes.
Lors d’un entretien récent, vers le milieu de l’échange, il est devenu très clair que le candidat utilisait l’IA
Cela ne s’est manifesté que sur des questions standard du type « pourquoi voulez-vous travailler ici ? ». Quand les questions ont été reformulées sous une forme plus robuste face à l’IA, le candidat s’est effondré, et ses compétences en anglais comme ses capacités de raisonnement général ont chuté brutalement
Ces questions avaient à l’origine été introduites pour évaluer la capacité du candidat à penser de manière abstraite. Par exemple : « quelle est votre philosophie créative ? »