昔のMalcom Gladwellのポッドキャストエピソードがあって、たしか「Revisionist History」っていう番組だったと思うんだけど、彼は自分をインタビューのニヒリストだと言ってた。相手がそこそこ能力がありそうで、必要なことを少しでもできそうなら、雇えばいいって。インタビューは正しくやるのが難しいから、結局言ってることが一番効果的になるんだ。追記：最初はリンクを貼らなかったけど、見つけるのが難しいと思ったから。実際は簡単に見つかるみたい。 https://www.pushkin.fm/podcasts/revisionist-history/hamlet-w...

我々の採用の機能不全は、対立や誰かをクビにするのが嫌いな人が多いからだ。

あるGoogleのインタビューで、Googleの社員を通してどれだけ雇われるかを見た方がいいってフィードバックをしたことがある。実際にそれを試してくれたみたいで良かった。やったけど、問題を解決するつもりはなかったみたい。この問題は信頼性のことなんだ。同じものを測るときの測定器の概念的な「相関」について。信頼性は心理測定学の二大概念の一つで、もう一つは妥当性で、測定器と測りたい現実の部分との相関のこと。妥当性の背後にある質問は「Xを知りたい；Yを測ったらどれくらい役立つか？」。信頼性の背後にある質問は「Zを測ったら、その測定はどれくらい正確か？」 https://en.wikipedia.org/wiki/Reliability_(statistics) https://en.wikipedia.org/wiki/Construct_validity Yeggeはこのエッセイの中で、両方の概念を明示的に指摘しているけど、名前は出していない。>> インタビューの結果は統計的にひどい。Googleは何年にもわたって波状的に分析を行い、すべての結果は信じられないほど落胆させるものだった。>> [信頼性] いくつか挙げると、インタビュアー同士がほとんど合意しなかった。最も優秀な二人の前に同じ候補者を置くと、一人は自信満々で「強い採用」と言い、もう一人は「ノー」と言うことがよくあった。>> [妥当性、ただしここでの「問題」は範囲の制限によって強く混乱している] 実際に仕事を始めたら、インタビューのスコアは彼らがどれだけできるかについてほとんど何も教えてくれなかった。>> [信頼性] うちのスター選手の中には、Googleのインタビューに4回か5回落ちて、2年以上経ってやっと入社した人もいる... >> [妥当性] ...そしてその後、他の誰よりも目立った。インタビューの結果が統計的にひどいという議論は、どのようにひどいのかを具体的に示すことで改善されるだろう。問題を知ることは、それを解決するための重要なステップだ。 （ちなみに、Googleから聞いた最後の話では、年に一度以上インタビューをすることは許可されていないらしい。2年で5回インタビューするのは、その方針に違反するように思える。）どんな測定器の妥当性も、信頼性の平方根によって上限が制約されるという基本的な定理がある。信頼性のない測定器が現実と密接に相関することは不可能だ。なぜなら、それ自体が定義上、何とも密接に相関していないから。これが信頼性がないということの意味だ。したがって、良い採用プロセスを望む会社は、そのプロセスを正確にすることに非常に気を使う必要がある。同じ人を評価する際に同じ決定を下す必要があるから。これはインタビューでは極端なコストをかけない限り達成できないことだ。信頼できる評価を得るには、5回以上のインタビューが必要だろうけど、このエッセイでは「4回以上のインタビューは食べ物で遊んでるだけ」と言っている。もちろん、Googleのインタビューはそもそも信頼性がないはずだから、その意味ではその主張はおそらく正しい。Yeggeが提案する処方は妥当だ。数ヶ月の仕事評価は強力で信頼性が高く、妥当な信号を与えてくれる。ただし、非常に高価でもある。このエッセイが完全に無視しているもう一つの点は、この問題が長い間認識されてきたことで、すでに信頼性が高く、妥当で、安価に実施できる評価方法があるということだ。それは標準化テストと呼ばれている。

2つのエピソード... 1) 私が受けた中で最悪のインタビュー（比べ物にならない）はGoogleでのもので、失礼な人たちで、時間を尊重しない。まだまだ言いたいことがある。お金が降ってくるのを得るために再挑戦したけど、長い目で見れば価値があった。2) 彼らの「パフォーマンス管理」の新しいシステムは詐欺だ。他の場所と同じように、「文書化」して、無言のルールや様々な恣意的な理由で簡単にクビにできるようにしている。友達は、事前に合意した目標をすべて達成したのに、「成果を出さない」という理由で追い出された。

雇われた人がうまくいかないのは必ずしも悪いことじゃない。理由は：1. 基準が高くなったから。早めに入って自分を証明できたら大丈夫だけど、今の面接を通過できるとは限らない。2. マラソンランナー（稀な例外を除いて）は、ランダムな日にマラソンを走れない。特定の日に向けてトレーニングするのと同じで、面接の準備もそうだよ。

作業サンプルテストの問題（開発者候補者が解くための宿題として一般的に実施される）は二つある。a) 4時間以上の集中した時間を平日の夜や週末に割けない人を差別する。複数の仕事を持つ人やシングルペアレントなど。b) AIの時代においては、誰かのスキルを測る信頼できる手段ではなくなっている。Yeggeとは違って、私はFAANGで働いたことはないけど、私が働いた会社はすべて彼が説明するのと同じ採用慣行に従い、同じ問題に苦しんできた。仮採用（またはそれが不可能な場合は、十分な報酬を得たインターンシップ）がすべての問題を解決する。候補者は3〜6ヶ月の安定した雇用を得て、雇用者は大量の作業サンプルテストを得て、彼らがAIをどのように使っているか、どれくらい使っているかを見ることができる。

仕事サンプルの面接については、設計もしたし、自分も受けたことがあるから、ちょっと迷ってるところがあるんだよね。伝統的なテック面接もそれなりに経験してきたけど、全部スタートアップで、FAANGではないんだ。面接官としては、仕事サンプル面接から得られるシグナルの方が好きだな。1時間のZoomセッションよりも、採用の推薦に自信が持てる。ただ、仕事サンプルやZoom面接で作られたチームを見てみると、結果がそんなに良くなかったようには思えない。面接を受ける側としては、逆の立場にいるときのフラストレーションも理解できる。対面の面接だと、自分がダメだったとか、改善点があるとか、頭の中で繰り返し考えることが多いから、結果もあまり驚かない。仕事サンプルの場合は、自分がミスをしているのか、他の人が4倍の努力をして解決策を磨いているのか、判断が難しいんだよね。ただ、一度だけ、仕事サンプル面接でその会社の内部の問題が浮き彫りになったことがあった。両方の面接プロセスについて言えば、実際にどれだけの候補者を無駄にしているのか、フィットする人を拒否するのにどれだけの努力が無駄になっているのか、まだまだ大きな未知数があると思う。だから、面接官としてプロセスを選ぶなら、やっぱり仕事サンプル面接を選ぶかな。「ゴールドスタンダード」として考えるべきかどうかは、ちょっと躊躇するけど、まだコントロールが難しい限界があると思う。Starfighter/Stockfighterモデルがもっと広まってたら面白かったのに、こういう採用会社が専門化して、面接結果を複数の会社に提供するモデルがうまくいくところを見たかったな。

ポートフォリオがあればいいけど、システムが壊れすぎてて、それが見えにくくなってるよね。必要ない分野でPhDを雇うバイアスがある理由の一つは、少なくとも仕事のポートフォリオがあるからだと思う。

テイクホームは、選択肢のある良い候補者を一掃するのにいい方法だったよ。彼らは何も提出せずに他の人を選ぶからね。AIや多くのレイオフがある今は状況が変わってるかもしれないけど、ここ数年試してないし、あまり期待はしてないかな。