昔のMalcom Gladwellのポッドキャストエピソードがあって、たしか「Revisionist History」っていう番組だったと思うんだけど、彼は自分をインタビューのニヒリストだと言ってた。相手がそこそこ能力がありそうで、必要なことを少しでもできそうなら、雇えばいいって。インタビューは正しくやるのが難しいから、結局言ってることが一番効果的になるんだ。追記：最初はリンクを貼らなかったけど、見つけるのが難しいと思ったから。実際は簡単に見つかるみたい。 https://www.pushkin.fm/podcasts/revisionist-history/hamlet-w...

我々の採用の機能不全は、対立や誰かをクビにするのが嫌いな人が多いからだ。

あるGoogleのインタビューで、Googleの社員を通してどれだけ雇われるかを見た方がいいってフィードバックをしたことがある。実際にそれを試してくれたみたいで良かった。やったけど、問題を解決するつもりはなかったみたい。この問題は信頼性のことなんだ。同じものを測るときの測定器の概念的な「相関」について。信頼性は心理測定学の二大概念の一つで、もう一つは妥当性で、測定器と測りたい現実の部分との相関のこと。妥当性の背後にある質問は「Xを知りたい；Yを測ったらどれくらい役立つか？」。信頼性の背後にある質問は「Zを測ったら、その測定はどれくらい正確か？」 https://en.wikipedia.org/wiki/Reliability_(statistics) https://en.wikipedia.org/wiki/Construct_validity Yeggeはこのエッセイの中で、両方の概念を明示的に指摘しているけど、名前は出していない。>> インタビューの結果は統計的にひどい。Googleは何年にもわたって波状的に分析を行い、すべての結果は信じられないほど落胆させるものだった。>> [信頼性] いくつか挙げると、インタビュアー同士がほとんど合意しなかった。最も優秀な二人の前に同じ候補者を置くと、一人は自信満々で「強い採用」と言い、もう一人は「ノー」と言うことがよくあった。>> [妥当性、ただしここでの「問題」は範囲の制限によって強く混乱している] 実際に仕事を始めたら、インタビューのスコアは彼らがどれだけできるかについてほとんど何も教えてくれなかった。>> [信頼性] うちのスター選手の中には、Googleのインタビューに4回か5回落ちて、2年以上経ってやっと入社した人もいる... >> [妥当性] ...そしてその後、他の誰よりも目立った。インタビューの結果が統計的にひどいという議論は、どのようにひどいのかを具体的に示すことで改善されるだろう。問題を知ることは、それを解決するための重要なステップだ。 （ちなみに、Googleから聞いた最後の話では、年に一度以上インタビューをすることは許可されていないらしい。2年で5回インタビューするのは、その方針に違反するように思える。）どんな測定器の妥当性も、信頼性の平方根によって上限が制約されるという基本的な定理がある。信頼性のない測定器が現実と密接に相関することは不可能だ。なぜなら、それ自体が定義上、何とも密接に相関していないから。これが信頼性がないということの意味だ。したがって、良い採用プロセスを望む会社は、そのプロセスを正確にすることに非常に気を使う必要がある。同じ人を評価する際に同じ決定を下す必要があるから。これはインタビューでは極端なコストをかけない限り達成できないことだ。信頼できる評価を得るには、5回以上のインタビューが必要だろうけど、このエッセイでは「4回以上のインタビューは食べ物で遊んでるだけ」と言っている。もちろん、Googleのインタビューはそもそも信頼性がないはずだから、その意味ではその主張はおそらく正しい。Yeggeが提案する処方は妥当だ。数ヶ月の仕事評価は強力で信頼性が高く、妥当な信号を与えてくれる。ただし、非常に高価でもある。このエッセイが完全に無視しているもう一つの点は、この問題が長い間認識されてきたことで、すでに信頼性が高く、妥当で、安価に実施できる評価方法があるということだ。それは標準化テストと呼ばれている。

2つのエピソード... 1) 私が受けた中で最悪のインタビュー（比べ物にならない）はGoogleでのもので、失礼な人たちで、時間を尊重しない。まだまだ言いたいことがある。お金が降ってくるのを得るために再挑戦したけど、長い目で見れば価値があった。2) 彼らの「パフォーマンス管理」の新しいシステムは詐欺だ。他の場所と同じように、「文書化」して、無言のルールや様々な恣意的な理由で簡単にクビにできるようにしている。友達は、事前に合意した目標をすべて達成したのに、「成果を出さない」という理由で追い出された。

雇われた人がうまくいかないのは必ずしも悪いことじゃない。理由は：1. 基準が高くなったから。早めに入って自分を証明できたら大丈夫だけど、今の面接を通過できるとは限らない。2. マラソンランナー（稀な例外を除いて）は、ランダムな日にマラソンを走れない。特定の日に向けてトレーニングするのと同じで、面接の準備もそうだよ。

作業サンプルテストの問題（開発者候補者が解くための宿題として一般的に実施される）は二つある。a) 4時間以上の集中した時間を平日の夜や週末に割けない人を差別する。複数の仕事を持つ人やシングルペアレントなど。b) AIの時代においては、誰かのスキルを測る信頼できる手段ではなくなっている。Yeggeとは違って、私はFAANGで働いたことはないけど、私が働いた会社はすべて彼が説明するのと同じ採用慣行に従い、同じ問題に苦しんできた。仮採用（またはそれが不可能な場合は、十分な報酬を得たインターンシップ）がすべての問題を解決する。候補者は3〜6ヶ月の安定した雇用を得て、雇用者は大量の作業サンプルテストを得て、彼らがAIをどのように使っているか、どれくらい使っているかを見ることができる。

仕事サンプルの面接については、設計もしたし、自分も受けたことがあるから、ちょっと迷ってるところがあるんだよね。伝統的なテック面接もそれなりに経験してきたけど、全部スタートアップで、FAANGではないんだ。面接官としては、仕事サンプル面接から得られるシグナルの方が好きだな。1時間のZoomセッションよりも、採用の推薦に自信が持てる。ただ、仕事サンプルやZoom面接で作られたチームを見てみると、結果がそんなに良くなかったようには思えない。面接を受ける側としては、逆の立場にいるときのフラストレーションも理解できる。対面の面接だと、自分がダメだったとか、改善点があるとか、頭の中で繰り返し考えることが多いから、結果もあまり驚かない。仕事サンプルの場合は、自分がミスをしているのか、他の人が4倍の努力をして解決策を磨いているのか、判断が難しいんだよね。ただ、一度だけ、仕事サンプル面接でその会社の内部の問題が浮き彫りになったことがあった。両方の面接プロセスについて言えば、実際にどれだけの候補者を無駄にしているのか、フィットする人を拒否するのにどれだけの努力が無駄になっているのか、まだまだ大きな未知数があると思う。だから、面接官としてプロセスを選ぶなら、やっぱり仕事サンプル面接を選ぶかな。「ゴールドスタンダード」として考えるべきかどうかは、ちょっと躊躇するけど、まだコントロールが難しい限界があると思う。Starfighter/Stockfighterモデルがもっと広まってたら面白かったのに、こういう採用会社が専門化して、面接結果を複数の会社に提供するモデルがうまくいくところを見たかったな。

ポートフォリオがあればいいけど、システムが壊れすぎてて、それが見えにくくなってるよね。必要ない分野でPhDを雇うバイアスがある理由の一つは、少なくとも仕事のポートフォリオがあるからだと思う。

テイクホームは、選択肢のある良い候補者を一掃するのにいい方法だったよ。彼らは何も提出せずに他の人を選ぶからね。AIや多くのレイオフがある今は状況が変わってるかもしれないけど、ここ数年試してないし、あまり期待はしてないかな。

これで会社の悪い採用リスクが下がったってことだよね。そうすれば、普通なら見送るような候補者に「チャンスを与える」ことができるかもしれない。

現在安定した雇用を享受している人を採用するのは障害になるよね。ジュニアには大丈夫かもしれないけど、家族がいるような経験豊富な人には難しいんじゃないかな。

高い離職率の一時的な労働者のプールだと、もう少し選択肢を広げられるかもね。インターンシッププログラムみたいな感じ。ただ、それが誰でもインターンになれるってわけじゃないけど。

正直言うと、そういうアイデアは多いよね。雇われたいけど、実際に雇用プロセスを運営したことがない人たちから出てきてる。

利点は一方通行のようだね。最初の100 -> 10（ATS/面接/コインフリップ）フィルタリングプロセスは、いつものように偽陽性と偽陰性の大きな割合を持つだろう。偽陰性は、雇いたかった人を誤って拒否してしまった候補者と雇用会社の両方にとって最悪だね。「仮採用」プロセスの利点は、偽陰性を避けられなくても、少なくとも偽陽性を排除して、会社が適格でフィットする人を雇えるようになることだと思う（偽陰性のせいでさらに良い候補者を拒否してしまうかもしれないけど）。

こういうプログラムを運営したことがあるよ。君の反論に対する答えはこうだ：全員にやるわけじゃなくて、十分良さそうな人だけにやるんだ。履歴書のフィルターと30分の会話があれば大体足りるよ。採用が決まったらすぐにやめるし。もし選ぶのが下手なら、投資のレベルが高いからすぐにシグナルを学べるよ。従来の長い面接ループを置き換えるんだ。最初にあまり話さないし、候補者には作業フェーズの後にオファーを出すって伝える。もう一つの反論は、全員がその時間を君と過ごせるわけじゃないってこと。確かにそうだね。私たちは彼らに報酬を支払って、それでも断られることもあったよ。どの面接スタイルがどの候補者に合うかは、受け入れなきゃいけないことだね。好きな候補者もいるだろうし。

別の人生では、FAANG企業で複数の面接ステージを経験したことがあるよ。セッションの合間に、（未来の）マネージャーたちと話す機会があったんだ。そのうちの一人が、面接プロセスが壊れているから、みんな一時的に雇って様子を見るべきだって言ってたよ（Yeggeが提案しているのと似てる）。そのバッチにはおそらく30人くらいがいたけど、全員を配置するのは簡単じゃないけど、確実にできると思う。

1つのポジションに対して100人の応募者がいる。どの候補者を仮採用する？ 6ヶ月の契約社員を見つけるには、100人のサンプルサイズは多すぎる気がする。まずは1人から始めてみたらどう？ 応募者を並べ替えて（ランダムでも、自分の選んだ基準でも、事前にフィルタリングしてもいいし）、最低限の資格を満たす最初の人を選んで、あなたの選んだ簡素な面接プロセスに基づいて雇う。もし必要なら、もっと大きなサンプルサイズで実験してもいいかも（少なくとも1人の適格な候補者が見つかることを期待できるくらいの大きさで）。

スティーブ・イェッジが自己賛美の投稿を書くなんて？信じられない！ =)

「これによって強い候補者が集まるんだ。君の拒否すら彼らにとっては価値があるからね。」これは完全にガスライティングだね！スティーブ、君のチームに拒否されるくらいなら、自分のキャリアにプラスになることをする時間を無駄にしたくないよ。

読んでみたけど、そういう印象は受けなかったな。あれは思考実験で、それ以上のものじゃない。ただ、いくつかの会社では「コワーキングデー」を設けて、チームのいろんな人と一緒にビジネスの問題を解決することがあるよね。彼がそれを提案できたらよかったのにと思う。

まあ、正確にはそうじゃないかな。彼はGeoworksの採用プロセスが非常に厳格だったと言っていて、それを通過したんだ。著者の名前は知ってるけど、彼の人生の全ては知らない。ただ、彼はGeoworksがAmazonに買収される前に雇われて、元同僚を全員連れてきたみたいだね。

私たちは2つの異なる投稿を読んだみたいだね。たとえ君の解釈が正しいとしても、ちょっと失礼すぎるよ。面接プロセスが嫌いで、改善しようとしている人をバカにするつもりなの？

彼は具体的に、Geoworksが彼がAmazonにいた時に買収されたと言ってたから、実際に多段階の面接プロセスを通過したんだよ。君がうまく読めないからって、そんなに皮肉っぽくならなくてもいいじゃん。

そうそう！ある時、著者は（弱い）アメリカの雇用法について、誰かを解雇するのがめちゃくちゃで、インターンシップからは簡単に解雇できるって不満を言ってたよ。従業員が求める安定性について、これが全てだね。

アメリカではその試用期間が永遠に終わらないんだよ。ほとんどどんな理由でもいつでも解雇される可能性がある。