多くの学生が考え抜かれた、よく構成された作品を提出したのに、フォローアップの質問を2つ受けた後、自分の提出物の基本的な選択を説明できなかった。私がたくさん採用をしていたとき、候補者が自分でできる持ち帰り問題のオプションを提供していた（批判しないで、これは彼らが選べる代替案だった）。それは経験豊富な開発者が10〜15分で解けるような問題で、少し手を加えてドキュメントを整え、1時間以内に提出できる程度のものでした。候補者には、次のステップで提出物について話し合うと言ったにもかかわらず、翌日にはまったく理解できない解決策を提出する候補者がいました。これはLLMが役立つ寸前の時期で、多くの解決策が友達からのものやインターネットからコピーされたもので、あまり考えられていなかったと思います。今やLLMは役立つし、広く知られているので、それを使って不正をする誘惑は大きいです。いろんな理由から、学生や応募者は、友達から答えをコピーすることに抵抗を感じない状況でLLMを使うことを不正とは思っていないと思います。LLMは利用可能なツールだから、使ってもいいはずだという考えです。しかし、その主張の明らかな問題は、私たちは学生や応募者のLLMを使う能力をテストしているわけではなく、彼ら自身のスキルやコミュニケーションを探るために合成問題を使っているということです。私が知っている採用マネージャーの中には、面接中にLLMを使うことを全面的に許可していた人たちが、今は方針を変えている人もいます。LLMを使った面接は、候補者がそのLLMにどれだけ慣れているかを測るだけの演習になってしまっていました。この記事で使われているいくつかの手法にはあまり賛同できませんが、彼らが直面している問題は非常に現実的です。

フェイクフォスター、愛してるけど、ジェネレーションZは君に準備ができてないよ。ジェネレーションZについて教えないで。大学の頃、微積分の口頭試験があって、教授は威圧的だった。彼が試験官のときは毎回ギリギリで合格してたけど、彼の助手と話すときはまあまあうまくいってた。普段は感情を抑えられるけど、教授の前では無理だったな。多分、その場合のトリガーは教授の口調だけじゃなくて、普段の彼の口調（すごくフレンドリー）と試験のときの口調の違いだった。初めての試験では全く予想外で、何回もそれにさらされても慣れなかった。回数を重ねるごとに悪化していった気がする。今ならそんな問題は簡単に克服できるけど、当時はまだ未熟だったからね。一方で、AIが私にそんな影響を与えるかどうかは疑問だ。AIを人間として扱うことはできないし、仮にそうしたいと思っても、ただのクソプログラムだから。完璧に有効な値の借用を受け入れないコンパイラに文句を言えるなら、私の生活を難しくするAIにも文句を言える。主にAIに対しては別の感情的な問題があって、小さなミスをするたびにイライラしたり怒ったりするけど、これは簡単に克服できた。

じゃあ次はどうなるの？学生がAIを使って音声合成で「口頭」試験の質問に答えるってこと？そこからどう進むの？近いうちに、これは本物の人間に戻らざるを得なくなると思う。

学生一人あたりのコストを考えると、学期中にいくつかの任意の試験を実施するのは理にかなっているかもしれない。これにより、学生はフォーマットに慣れる機会が得られ、理解度を確認できるし、声が非常に威圧的であればそれにも慣れることができる。ちなみに、36人の学生で口頭試験ができないのは驚きだ。もっと多くの参加者がいるコースで口頭試験を受けたことがたくさんある気がする。でも、損益分岐点は国によってかなり違うんだろうね。