「合成代名詞を使ってるんだ」興味をそそられた！

イタリアでは、すべての試験に口頭の要素があって、小学校から大学まで続くんだ。そんな状況では全然うまくいかなくて、頭が真っ白になっちゃう。これがなければいいのに。面接も似てるけど、ちょっと違う：自分をアピールしてるから。

テレプロンプターがあれば、これらの試験で簡単に不正ができるよ、撮影されていてもね。正しく配置された二面鏡があれば、カメラを見ながら普通に見えるし、読みながらも全然問題ない。次のステップは骨伝導マイク、スマートグラス、イヤリング…そして、正直で社交不安を抱える人を排除すること。

数十の電話ブースからなる試験スペースは、あなたのキュービクルオフィスを魅力的でインスパイアリングに見せるだろうね。

私の大学（プラハのカレル大学）では、200人以上の口頭試験があったよ（いくつかの異なるセッションに分かれて）。

ちなみに、36人の学生で口頭試験ができないのは驚きだ。試験の頻度や深さによるよ。口頭試験でどれだけの知識をテストできるか、2時間の筆記試験に似たものになるのか？（特に、自分の経験を思い出すと、割り当てられた時間の3/4をアイデアをスケッチするのに使い、最後の1/4で焦って答えを書くことになるから）。もし私が教師なら、学生をサンプリングする経験があるだろう。間違った答えを出す学生に偏ったサンプルを取るかもしれないけど、それが良いフィードバックループ（「クラスの前で再度尋問されたくないから勉強する」）か、悪いフィードバックループ（「いじめられている、改善するより悪化している、これが嫌で諦める」）を始めるかもしれない。

記事の最後にこれが書いてあるよ: 「そして、ここが美味しい部分だ: 学生に全ての設定を渡して、何度も練習させて試験に備えさせることができる。漏洩した問題が大惨事になる従来の試験とは違って、ここでは毎回新しい問題が生成される。練習すればするほど、上達する。それが…実際に学ぶってこういうことなんだ。」

もちろん可能だよ！でも、TAを雇うのに一日の授業料のほんの一部で済むのに、わざわざチャットボットを作ろうとするなんて…本当に驚きだよ。最高の成績の学生だけで口頭試験をやれば、もっと可能性があるじゃん。それが目的でしょ？優秀な学生が本当に理解しているかを確認するために。80%以上の成績の学生と10分も話す時間がないの？お願いだから。

口頭試験はちゃんとスケールするよ。TAは時給25ドルで、口頭試験はせいぜい1時間かかるだけ。LLMに試験をやらせる代わりに25ドルの授業料の割引なんて絶対受け入れないよ。

同僚たちが（LLMの前に）口頭試験は理解度を診断するのにペーパー試験より優れていると主張してたことがある。どうやってその主張を検証するかは分からないけど、もしその前提が正しければ、スケールする方法を見つける価値はあるかも。これがその方法だとは言わないけど、口頭試験を完全に否定するのはフェアじゃないと思う。

TFAのケースは、学生が提出したプロジェクト作品に関する試験だった。それは同じことじゃない。そういう文脈がないもっと伝統的な試験でも、AIに採点を頼りたくなるかもしれない。（そう、分かってる、これは「学生はカンニングのためにAIを使っちゃダメだけど、教授は使っていい！」って聞こえるよね。）それに、私の意見では口頭試験は準備ができている人とそうでない人を見分けるのにかなり効果的だと思う。逆に、外向的で自信のある人を助けてしまうこともあるから、そのバイアスを防ぐことには気をつけないといけないね。

君の言ってることには基本的に同意するけど、こういうことも言いたい。 > 「手書きでアセンブリやC++のコードを書いたけど、コンパイルされるのが前提だった。提出する前に自分でコンパイルするチャンスなんてなかった。」これが本当に誰かの能力を評価する最良の方法だと思ってるの？両極端の間に妥協点を見つけられないかな？個人的には、学校が提供するコンピュータで開発環境とドキュメントにアクセスできるのがいいと思う。LLMは、せいぜい（でも多分無理だろうけど）高レベルのコースだけでいいよ。

「最初に1000人の学生がいるプログラムで、卒業生は10人未満だった。これが普通だった。」これがどうして自慢になるの？詐欺みたいに聞こえるよ。しっかり教えられて成功するって売り込まれて、支払って、厳しいフィルターを通されて、結局1%しか合格しない。失敗したら100%の責任を負わされる。残りの990人にも同じことが繰り返される。「大学はあなたの寄付に感謝します」ってスローガン、急に魅力がなくなるね。これは教育と学びに対する悪意のあるコンプライアンスみたいなもんだ。教授たちの状況や、私が学んでいた場所、学生たちの状況を考えれば、驚くことじゃないよ。ちなみに、私も（いくつかの授業では）同じようにテストされた。人はまだカンニングしてたし、採点の厳しさもバラバラだった。人は試験が終わった後すぐに全部忘れて次に進むし、質問を暗記して解答集を作って、次の年のクラスに渡してた。これだけじゃ何も解決しないよ。新しい質問を作り続ける必要があるし、単にキーの値を入れ替えるだけじゃダメだよ。

1000人を入学させて10人卒業するってことは、入試で全く審査をしてないバカがいるってことだね。

君の大学プログラムが99%の失敗率だなんて、全く信じられないよ。そんな大学は閉鎖して部品として売るべきだね。

俺にとって驚くべきことは、君がそれを教育評価の金字塔として受け入れたことだよ。比較のために言うと、俺たちは毎週、監獄のターミナルで長時間Cプログラムを書いて、特定のアルゴリズムをカバーして、コンパイルやデバッグをしてた。アシスタントが進捗を見守って、ちゃんと理解できてるか確認してくれた。時間内に終わらなかった人は追加のセッションがあった。最後の試験は非常にシンプルで、全体の評価にはほとんど影響しなかった。それはあまりスケールしないかもしれないけど、俺が本当に望むのは、君が描いてるチャック・ノリス風の詰め込み教育の試験じゃなくて、そういうやつなんだ。

そうだね、でも今日の大きな違いは学生の数と、どれだけの学生が非伝統的なプログラムを受けているかだよ。真剣な大学が提供するオンライン専用のプログラムがたくさんある。一定の学生数を超えると、昔のやり方はうまくいかないんだよね。

閉じた本でのテストにはかなり懐疑的だ。俺の意見では、そうする理由は1) 暗記力を試すことが目的の場合（これは分野によっては価値があることもあるけど）、または2) テスト自体が実際には難しくなくて、質問が本当の理解を試すために必要な「統合」を要求していない場合が多い。

それが私にとって驚きなんだ - データは明らかに実験がひどい結果だったことを示してる。なのに、著者は「素晴らしい成功！」って言ってるだけ。最も重要なことをテストすることすらしなかった。LLMの評価は正確だったのか！採点者に手動で評価させて、LLMがどれくらい近かったのか、あるいは全然違ってたのかを見てみるべきだ。これは明らかに、データが何を示そうとも結論を促進したい人のようだね。

問題は、手書きをテキストに変換する信頼できる自動化された方法がない限り、スケーラブルではないってことだね。

君が引用した部分は記事の結論じゃないよ。それは明白な主張で、記事の最初の文（「持ち帰り試験は死んだ」）でも良かったくらいだし、その後に実験を促した意見（「戻るのは退行のように感じる」）が続くんだ。一部の大学や教授は、持ち帰り試験の形式に移行しようとしていて、短すぎる授業内試験や、精神的・身体的なスタミナに対する不合理な期待が要因となる長時間の授業外試験よりも、より包括的な評価が可能になるんだ。「持ち帰り試験は死んだ」というのは明白で、記事の実験の結果じゃないよ。持ち帰り試験でカンニングする方法は限られていて、ほとんどが道徳心のない第二の人を見つけることに関わってた。今は、一人で持ち帰り試験でカンニングするのは簡単だよ。君は伝統的な筆記試験に対する大学の何百年もの経験についても触れてたけど、テストすべき知識やスキルの種類や方法は、学問によって大きく異なるし、コンピュータサイエンスやソフトウェアエンジニアリングの分野はまだ新しいから、試験の技術が成熟したとは言えないよ。最後に、学生の好みが試験の質や教育の何かを測る基準になるとは思えないね。

ある学生はAIと60分以上話さなきゃいけなかったんだ。これってディストピアを作ってるよね。もしこれが2学期以上使われたら、学生はAIに電話を取らせるだけだよ。

ブログ記事のクラスには当てはまらないけど、オンラインクラスもたくさんあるよ。多くのプロは通勤せずに参加できるから、便利な場所から受講できるオンラインクラスを好むんだ。そういうクラスにはペンと紙の試験を行う余裕がないし、テストセンターに行かせるのは過剰すぎるよ。そういう環境では持ち帰り試験（または他の形式の筆記試験）は、カンニングのリスクが高くなるんだ。カンニングのハードルが低すぎるからね。口頭試験はカンニングを少し難しくするんだ。完全に不可能ではないけど、難しくはなるよ。

彼らは明確に筆記試験を好むと表現した 私が学生だった頃、すべての試験がオープンブックで、採点後に回答を修正して再評価してもらえることを強く望んでいたよ。私が言いたいのは、「学生は…を好む」というのは、必ずしも最善のケースが決まったわけではないってこと。もちろん、学生は持ち帰り試験を好むだろう。だって、思い出せないことや授業に出なかったことを調べられるし、AIを使って簡単にカンニングできるからね（「LLMの声」を隠すために軽く書き直すステップがあれば）。でも、現実では、人は本当に自分の決定を説明するように求められるし、取り組んでいる問題について理由を説明できることが求められるんだ。改訂されたプロンプトを読む限り、エージェントを初回の試みよりもずっと公正で扱いやすくする意図があるのは明らかだから、これは悪いアイデアではないと思う。最後に（この部分は記事の学生のフィードバックの引用を読んで感じたことだけど）、現在の学部生は主にテキストでコミュニケーションをとることに慣れていることを考慮してほしい。さらに複雑なことに、彼らはCOVIDが流行したときに13〜17歳だったから、人との接触がさらに減っているんだ。彼らは非常に親しい友人以外の人と話すことに対して極度に緊張しているかもしれない。私は彼らに同情するけど、比較的リスクの低い状況でこの不安を克服する手助けをする方が、彼らが口頭でコミュニケーションできるようになることをあきらめるよりもいいと思う。

学生のカンニングと教師のテストのいたちごっこは、手の甲に書かれた最初の解答キーから何百年も続いてる気がする。

彼らはテクノロジーと「進歩」に夢中になってるね。

+1 投票集計と同じように、学生のテストは教師だけで完璧にスケールするよ。でも、ヨーロッパではMaturaや最終ディプロマ試験で口頭試験を見たことがある。アメリカでは、すべての博士号取得者が口頭防衛を必要とするって聞いた。怠惰からAIに委ねるこの考え方は、スタニスワフ・レムの「Experimenta Felicitologica」に完璧に表れていると思う。AIはある程度ルーチンなタスクをこなすのには素晴らしいけど、対立的なものに関しては、良い解決策がすぐに見つかるとは思えない。打ち負かすAIを作るのは安く済むからね。AI戦争がどうなるのか、気になるな。