- Le jeu de devinette présenté comme une énigme d’entretien chez Microsoft porte sur la recherche binaire et la valeur espérée, mais la conclusion selon laquelle il serait « défavorable au candidat » est fausse lorsque le nombre est choisi aléatoirement
- Les règles consistent à deviner un nombre entre 1 et 100 en réduisant l’intervalle grâce à des indices, et la récompense, qui commence à $5, diminue à mesure que le nombre d’essais augmente ; plus tard, c’est le participant qui paie
- L’observation selon laquelle Ballmer peut choisir exprès un nombre difficile est correcte, et même avec une stratégie de recherche binaire, 37 nombres précis ne sont trouvés qu’au 7e essai, ce qui oblige le participant à payer $1
- Si le nombre est choisi aléatoirement, le code Perl comme le calcul de probabilité donnent une valeur espérée de $0.20 pour le jeu, donc une espérance positive pour le participant
- S’il n’y avait pas de palier à $0 et que le participant commençait à payer dès le 6e essai, la valeur espérée deviendrait -$0.49, ce qui rejoindrait la conclusion de Ballmer
Règles de l’énigme de devinette numérique
- Steve Ballmer présente dans une courte vidéo une énigme qu’il dit avoir posée à des candidats en entretien chez Microsoft
- Une personne pense à un nombre entre 1 et 100, et le candidat réduit l’intervalle à chaque tentative en recevant l’indication « plus grand » ou « plus petit »
- La récompense varie selon le nombre d’essais nécessaires pour trouver la bonne réponse
- 1er essai : $5
- 2e : $4
- 3e : $3
- 4e : $2
- 5e : $1
- 6e : $0
- 7e : le participant paie $1
- 8e : le participant paie $2
- 9e : le participant paie $3
- La question centrale est : « Faut-il accepter ce jeu ? »
- La conclusion de Ballmer était « Non », pour deux raisons
- il peut choisir le nombre le plus difficile à trouver
- même s’il choisit un nombre au hasard, la valeur espérée est négative, donc le participant finit par lui payer de l’argent
Là où Ballmer avait raison : il peut choisir le nombre de façon adversariale
- Le premier argument de Ballmer, selon lequel il peut choisir un nombre difficile, est correct
- Si le nombre est choisi aléatoirement, la stratégie optimale est la recherche binaire
- Même avec une recherche binaire, si Ballmer choisit certains nombres précis, le participant devra payer $1
- Ces nombres sont 2, 5, 8, 11, 14, 17, 20, 22, 24, 27, 30, 33, 36, 39, 42, 45, 47, 49, 52, 55, 58, 61, 64, 67, 70, 72, 74, 77, 80, 83, 85, 87, 90, 93, 96, 98, 100
- Pour les autres nombres, le participant reçoit soit $0, soit une récompense positive
- Les nombres donnant $0 sont 1, 4, 7, 10, 13, 16, 19, 23, 26, 29, 32, 35, 38, 41, 44, 48, 51, 54, 57, 60, 63, 66, 69, 73, 76, 79, 82, 86, 89, 92, 95, 99
- Pour tous les autres nombres, le participant prend une partie de l’argent de Ballmer
Exemple avec le nombre 59
- Dans la vidéo, Ballmer choisit 59
- Avec une stratégie de recherche binaire, on peut le trouver en 5 essais avec la séquence 50, 75, 62, 56, 59
- Dans ce cas, l’intervieweuse Emily Chang reçoit $1
- Les véritables essais d’Emily Chang étaient 50, 75, 60, 55, 57, 58, 59, ce qui était assez proche de la solution en 5 étapes par recherche binaire
Avec un choix aléatoire, la valeur espérée est positive
- Si l’on suppose que Ballmer choisit le nombre au hasard, la conclusion selon laquelle la valeur espérée est négative est fausse
- Le code Perl calcule, pour chaque nombre de 1 à 100, en combien d’essais la recherche binaire le trouve, puis additionne les gains pour en faire la moyenne
- Le résultat donne une valeur espérée de $0.20 pour le jeu
- On peut retrouver le même résultat du point de vue probabiliste
- Au 1er essai, on choisit 50 ; la probabilité de succès est de 1/100 et la récompense est de $5
- Au 2e essai, on choisit 25 ou 75 ; la probabilité de succès est de 2/100 et la récompense est de $4
- Au 3e essai, on choisit 12, 37, 62, 88 ; la probabilité de succès est de 4/100 et la récompense est de $3
- Au 4e essai, on choisit 6, 18, 31, 43, 56, 68, 81, 94 ; la probabilité de succès est de 8/100 et la récompense est de $2
- Et la suite continue de la même manière
- La formule de la valeur espérée est
5 * 1/100 + 4 * 2/100 + 3 * 4/100 + 2 * 8/100 + 1 * 16/100 + 0 * 32/100 + -1 * 37/100, ce qui donne 0.2 - Le dernier terme
-1 * 37/100représente les nombres encore possibles une fois arrivé au bout de la recherche binaire
D’où peut venir l’erreur
- Une possibilité est que Ballmer n’ait pas eu l’intention d’inclure le palier de récompense à $0
- Si la règle avait été « $5, $4, $3, $2, $1, puis le participant paie $1, $2, $3 », la valeur espérée serait de -$0.49
- Dans cette variante, la conclusion de Ballmer selon laquelle la « valeur espérée est négative » devient cohérente
1 commentaires
Avis sur Hacker News
L’article laisse entendre que le candidat suppose que le nombre est choisi au hasard, mais en réalité Ballmer pourrait aussi le choisir de façon antagoniste.
Cela dit, si le candidat suppose que Ballmer choisit de façon antagoniste, il peut modifier la probabilité en prenant une première estimation différente. L’auteur du billet part aussi du principe qu’on commence à 50, mais vu les propriétés de la recherche binaire, choisir à chaque fois une valeur initiale décalée de 50 par un offset aléatoire permettrait de bloquer une attaque antagoniste simple visant l’heuristique, tout en conservant l’essentiel des avantages de la recherche binaire.
J’aimerais voir une analyse de l’algorithme optimal de choix d’offset aléatoire face à ce type de choix antagoniste simple.
J’imagine bien Ballmer dire : « Non, la première estimation doit être 50. Tout le monde le sait. »
Autrement dit, il suffit d’avoir au maximum 64 nombres de chaque côté de la première estimation. Comme indiqué, si l’on choisit cet offset au hasard, la plupart des exemples antagonistes visant les failles de la recherche binaire sont neutralisés, et cela pourrait même supprimer l’avantage du choix antagoniste lui-même. Cela dit, dans ce cas, il faudrait peut-être une distribution adaptée à l’offset.
Moi aussi, j’aimerais voir ce genre d’analyse.
Le point essentiel est que même si Ballmer choisit au hasard et que le candidat joue de manière optimale en conséquence, l’espérance du jeu reste négative ; cela suffit à établir que le jeu est défavorable au candidat.
L’article ne répond pas à la question plus difficile : « quelle est donc l’espérance réelle ? ». Mais si le candidat choisit sa première estimation au hasard entre 40 et 60, puis effectue une recherche binaire à partir de là, il semble difficile pour Ballmer d’obtenir un avantage nettement supérieur à celui qu’il aurait en choisissant simplement le nombre initial au hasard.
Dans un équilibre de Nash trouvé par la simulation, Ballmer mélange ses choix près des deux extrémités de l’intervalle. Pas toujours 1 ou 100, mais autour. Le joueur Ballmer gagnait avec une espérance d’environ 0,85 à 1,00 dollar par manche.
Au final, la stratégie de celui qui doit deviner commence elle aussi la recherche binaire aux extrêmes de l’intervalle, dans l’espoir de tomber du bon côté. C’est un peu comme un penalty au football, où le tireur et le gardien choisissent chacun une direction. Le gardien veut choisir le même côté, le tireur veut l’opposé. Sauf qu’avec 100 choix, on a l’impression que le but est beaucoup trop large.
Je pense désormais que si l’on ne contraint pas les choix restants au schéma de recherche binaire, l’équilibre change complètement et le résultat pour le joueur s’améliore. Mais cela introduit des choix stratégiques à chaque intervalle, ce qui rend le calcul beaucoup plus lourd. Et comme j’ai passé 2 heures à éviter le travail avec ça, ce n’est pas idéal. Je suis quand même curieux de voir ce que ça donne si l’on retire la contrainte de recherche binaire.
J’ai récemment passé un entretien pour un poste senior dans un domaine complexe, celui des paiements, où je travaille depuis plus de dix ans.
Je connais les paiements sur le bout des doigts, non seulement aux États-Unis, mais aussi au Royaume-Uni et dans la plupart des juridictions de l’UE, donc l’entretien s’est déroulé sans accroc. Comme il s’agissait d’un poste senior, l’influence, la communication souple et la gestion des conflits comptaient davantage que l’expertise métier pure, et je m’en suis aussi très bien sorti sur ces points. Ils avaient délibérément mis en face de moi un senior manager désagréable qui m’interrompait sans arrêt, et le retour qui a suivi disait que ma gestion du conflit avait été une masterclass.
Le dernier tour s’est déroulé avec un responsable business qui se considérait de fait comme l’expert du domaine, et il n’a cessé de poser des questions de culture générale sur les paiements. On aurait dit qu’il cherchait à balayer le plus de détails possible jusqu’à trouver un motif de refus.
Sa dernière question était de savoir si j’avais vraiment de l’expérience pratique des paiements en temps réel, et j’en avais dans plusieurs pays. Pour FedNow aux États-Unis, son lancement étant très récent, je m’étais limité à lire les spécifications et à évaluer quelques fournisseurs pour décider s’il fallait construire ou acheter. Il s’est appuyé là-dessus pour donner une recommandation négative, au motif que je n’avais pas d’expérience des paiements en temps réel.
Honnêtement, je n’ai pas envie de travailler dans ce genre d’environnement. C’était une grande banque américaine, et son plus gros problème n’était ni l’innovation produit ni l’orientation client, mais les incidents opérationnels. Indépendamment de mon expertise en paiements, c’est un domaine que j’ai déjà remis sur pied dans plusieurs grandes entreprises, et je l’ai clairement fait passer. Mais avec un peu de chance, on n’a pas besoin d’apprendre à ses dépens qu’un endroit pareil est toxique.
Cela indique non seulement que l’entreprise a une culture toxique, mais aussi qu’elle l’assume. Ce genre d’endroit attire les personnes qui aiment le conflit, et quand elles deviennent assez nombreuses, ce sont elles qui façonnent la culture.
On le dit peu, mais le conflit est un échec du leadership. Très souvent, il suffirait qu’un dirigeant très haut placé claque des doigts en disant : « J’ai besoin que vous deux fassiez aboutir ça » pour résoudre le conflit. Mais soit le leadership est trop éloigné du terrain pour aligner les équipes, soit il encourage structurellement les conflits internes au nom de la compétition. Dans les deux cas, ce genre d’endroit peut être un enfer où travailler.
L’idée était d’arriver finalement à un point où le candidat ne connaîtrait probablement pas la réponse sur-le-champ. Ce n’était pas censé être hostile ou impoli : je voulais voir s’il était capable de dire « je ne sais pas ». Ne pas savoir fait partie du quotidien du travail technique, mais ne pas être à l’aise pour le dire peut devenir un vrai problème.
Globalement, les candidats les plus compétents étaient ceux qui disaient le plus facilement « je ne sais pas ». Une attitude défensive a toujours été pour moi un signal d’alarme.
Les dirigeants toxiques préfèrent les consultants et conseillers externes surfacturés aux employés internes payés bien moins cher.
Quand on est parfaitement préparé et pleinement qualifié, mais que le processus ressemble à un quiz de culture générale plutôt qu’à une vraie évaluation des compétences techniques et de l’expérience, c’est extrêmement frustrant. Comme d’autres l’ont dit, ce comportement est un signe clair de culture toxique.
Le plus absurde, c’est que cela devrait être exactement l’inverse. Si vous faites grandir une équipe ou remplacez quelqu’un, vous devriez chercher quelqu’un de meilleur que toutes les personnes déjà en place.
S’ils chipotent sur des détails insignifiants ou creusent des points sans rapport pour trouver une raison de vous rejeter, c’est un énorme signal d’alarme. Cela veut dire qu’ils ne s’intéressent ni à l’innovation ni à la résolution de vrais problèmes. Cela vaut aussi pour les interminables incidents opérationnels que nous avons déjà résolus dans d’autres entreprises.
Dans ce genre de situation, le mieux est de dire que vous êtes désolé d’avoir fait perdre du temps à tout le monde et de partir. Mais je comprends aussi qu’on puisse avoir envie de supporter ces conneries quand le poste est dans sa région. Malgré tout, parfois, esquiver cette balle est une bénédiction déguisée. Même si, comme moi à l’époque, on est au chômage et que l’argent commence à manquer.
C’est le genre d’interrogatoire où l’on remonte toute l’ascendance jusqu’à ce que la réponse devienne « agriculteur ».
« Faut-il accepter ce jeu ? »
Bien sûr que oui. J’aime les jeux, et le but d’un jeu est de s’amuser. Pour les 20 premiers dollars environ, c’est un prix acceptable pour passer dix minutes à jouer à un jeu amusant.
Et après coup, je peux dire : « J’ai déjà perdu 20 dollars en faisant une recherche binaire avec Steve Ballmer », ce qui est une bonne phrase à ressortir à table et vaut, à mes yeux, plus de 20 dollars.
C’est probablement aussi pour ce genre de raisons que Microsoft a perdu de son influence à l’époque de Ballmer. Ils regardaient trop uniquement l’aspect technique et pas assez l’aspect humain.
Si quelqu’un avait répondu comme ça en entretien, je ne l’aurais jamais recruté. J’ai d’ailleurs déjà fait passer un entretien à un candidat de ce genre. Quand on lui demandait : « Comment feriez-vous cela ? », il répondait : « Il ne faut pas faire ça, je pense qu’il faut faire autre chose. » Il n’a pas été recruté.
Je m’en suis rendu compte lentement au fil des années : la recherche binaire est un outil de résolution de problèmes remarquable, surtout dans les systèmes si grands et complexes qu’ils sont difficiles à déboguer.
Récemment, un collègue avait un problème avec l’outil de rendu de Figma, dont nous n’avions pas le code source. L’export d’un design précis prenait beaucoup trop de temps, et mon collègue avait passé plusieurs jours à modifier des choses au hasard, sans résultat. Chaque essai prenait des heures, et parfois le navigateur plantait.
La solution que j’ai proposée consistait à supprimer la moitié des éléments et à observer l’effet sur le temps d’export. Puis à répéter l’opération sur le groupe qui échouait encore. En quelques heures, nous avons trouvé l’élément qui provoquait en pratique une boucle infinie.
À chaque pas en s’éloignant du terminal, par exemple d’un poste de travail, on remontait de deux niveaux dans le réseau. Cela permettait d’élargir facilement le périmètre tout en réduisant très vite la zone à « jusqu’ici tout va bien, c’est ici que ça casse ».
L’administrateur a utilisé une recherche binaire pour identifier rapidement l’abonné responsable, en modifiant sélectivement le contenu en ajoutant un espace quelque part dans les messages.
Je supprimais une partie du code, je vérifiais si ça cassait toujours, puis je supprimais davantage, et ainsi de suite.
Existe-t-il un nom pour l’erreur qui consiste à attribuer sa réussite dans la vie à sa propre intelligence, puis à en conclure qu’on est plus intelligent que tout le monde et qu’on a raison sur tout ?
Une sorte d’opposé du syndrome de l’imposteur.
La deuxième partie, « je suis supérieur et je sais tout », relève peut-être simplement d’un bon vieux mauvais caractère.
https://en.wikipedia.org/w/index.php?title=Luciferianism&old...
C’est la tentation, si l’on est intelligent, de penser qu’on devrait devenir le gardien du monde. De créer un monde fondé sur son propre apprentissage et sur la vérité ultime, en se croyant capable de trouver ce genre de vérités plus facilement et plus rapidement que les gens ordinaires. Cela donne une licence morale, et la fin justifie alors les moyens. On se dit que le mal que l’on fait maintenant sera remboursé plus tard par deux fois plus de bien.
Il y a aussi l’erreur fondamentale d’attribution et l’effet Dunning-Kruger. Sur le plan comportemental, la supériorité illusoire se combine avec la licence morale, ainsi qu’avec un effet de désinhibition chez les personnes ayant beaucoup réussi, qui les pousse à prendre de plus grands risques. Ces risques incluent aussi des effets négatifs sur autrui.
J’ai l’impression que tous ces effets se combinent dans une certaine mesure. Le problème ne semble pas forcément être l’intelligence, mais au moins le pouvoir perçu par l’individu. Par exemple, quelqu’un qui croit être naturellement meilleur dans X ressent davantage de puissance, et a moins d’inhibition à exprimer un sentiment de supériorité ou à dominer les autres.
Nous avons tous vu des gens s’accrocher à leur gloire passée, incapables de comprendre qu’ils ne sont plus à leur apogée, et chercher à exercer un pouvoir qu’ils n’ont plus. Pour moi, c’est le véritable opposé du syndrome de l’imposteur : un état où la perception de soi et des dynamiques sociales n’évolue pas avec les changements d’époque.
Trouble de la personnalité narcissique
Antisocialité
J’ai eu autrefois un collègue qui avait une question d’entretien préférée. Elle portait sur une structure de données de type graphe, et les candidats qui y répondaient se faisaient systématiquement éliminer.
Curieusement, avec le temps, tous les candidats qui avaient répondu à cette question étaient éliminés. Nous nous sommes donc réunis pour voir quelle question il posait, et en essayant de la résoudre ensemble, nous avons compris que sa propre solution était fausse.
Il s’est avéré qu’il avait éliminé des gens avec cette seule question pendant toute sa carrière.
Ce fut une leçon d’humilité pour nous tous, et un rappel qu’il faut tout revérifier avant de poser une question. La plupart des candidats en entretien sont tout à fait recrutables. Parfois, c’est vous qui pouvez avoir tort.
Une erreur, et c’est l’élimination immédiate ? Y avait-il vraiment autant de candidats parfaits qu’on pouvait filtrer presque tout le monde ?
Si j’étais le candidat, ma première question serait : « Allez-vous jouer équitablement, et comment puis-je le vérifier ? »
« Deuxièmement, quand une somme d’argent significative est en jeu, je valide les entrées. Cela ne veut pas dire que je ne vous fais pas confiance personnellement, mais plutôt que je ne fais pas confiance à la situation elle-même. Comment puis-je le vérifier, ou souhaitez-vous que nous partions du principe que c’est vérifié ? »
Ce sont de bonnes questions, mais la façon de les poser compte aussi. Le génie logiciel n’est pas de l’ingénierie pure ; la communication y est très importante.
Comme pour la plupart des questions d’entretien, je m’attends à ce que celle-ci serve à voir comment on développe son raisonnement et comment on montre sa démarche de résolution.
Si l’intervieweur a posé cette question et que vous en trouvez l’erreur, cela pourrait même jouer en votre faveur pour l’embauche.
Il y a aussi un autre point intéressant ici. Dès qu’il est devenu clair que Chang n’abordait pas cette question explicitement sous l’angle de la recherche binaire et de l’espérance mathématique, Ballmer a fait pas mal d’efforts pour s’éloigner de la discussion précise autour de cette question et réorienter diplomatiquement la conversation.
Ce n’est pas surprenant. C’est une journaliste professionnelle. Ce qui est surprenant, c’est que Ballmer aimait tellement cette question, comme beaucoup d’intervieweurs techniques, qu’il n’a pas pu s’empêcher de la sortir, même si elle n’avait pas grand-chose à voir avec la question de Chang.
Je suis vraiment curieux de connaître la solution en équilibre de Nash
Comme le disait un commentaire, du côté de celui qui devine, cela ressemble probablement à une stratégie consistant à renvoyer un nombre aléatoire proche de la recherche binaire. Mais je me demande si, du côté de celui qui choisit, on utilise une distribution initiale uniforme ou non uniforme. Quelqu’un sur HN le sait sûrement, ou saura l’expliquer.
Il y a évidemment un grand écart entre le jeu à 5 nombres et celui à 100 nombres. À mesure que le nombre de choix augmente, la stratégie mixte optimale pourrait se stabiliser ; ou bien, pour autant que je sache, elle pourrait devenir de plus en plus étrange. Si quelqu’un explore sérieusement les jeux à 6, 7 nombres, etc., j’aimerais vraiment qu’il me le dise.
Dans les autres stratégies, le candidat a une stratégie consistant à deviner le « nombre piégé », et Ballmer a une stratégie consistant à « ne pas choisir le nombre piégé »
Le candidat ne peut pas forcer Ballmer à tricher