いや、なんでも反論しなくてもいいよ。教授がここで何をしたのか、そして学生がこの特定の科目の試験で出力を信頼しなかった理由について話してみたらどう？

LLMがユーザーに本当のコストを請求し始めたら、どうなるか見るのがすごく楽しみだね。多くの人が高くて手が出なくなったら、どうやって対処するんだろう？

記事を読んで、教授も学生も教えられている内容に興味を持っていて、だからこそ積極的に学びたいと思っているように感じたので、LLMを使うのは最良の戦略ではないと思いました。私の感覚では、多くの学生にとって、コースの内容をしっかり理解することが主な目標ではなく、良い仕事を得るためにコースを通過することが主な目標です。このグループにとっては、LLMを使うのは理にかなっています。私が学生だった頃、親や学校に「これが正しいことだ」と言われて興味のないコースを受けていたとき、もしLLMがあったら絶対に使っていたと思います :)

Googleは検索をぶっ壊して、あのダメなLLMボックスに置き換えたよね。学生の欲求がここでの原動力だって本当に思ってる？

ここで教授は、試験の文脈外で一般化できない「特別な」ケースを提示したと思う。「AIを使わない」か「AIを使うが、その結果を受け入れる」という選択肢があった場合、試験の準備をしっかりしていれば、チャットボットは魅力的な選択肢にはならないと思う。

...は本当に指数関数的に成長してるね。あるいは幾何学的に？

ここでの一つの助けは「恐れ」だね。大学では形式的なミスで落とされることがあるから、みんなそれを恐れて注意深くなるんだよ。「大学ではLLMを使えない、自分で考えなきゃいけない」ってことを知ってれば、試行錯誤で調整するだろうね。LLMに頼らない方法を教えられない教育システムで育つことは、運のいい同級生と比べて、実質的にずっと不利になるって主張もできると思う。批判的思考は、最後まで練習し続けるスキルなんだ。

うん、もっとルールについても気になるね。例えば、両者が議論に貢献しなきゃいけないとか（：

俺たちはすべての卒業証書をOpenAIに送って、高等教育を終わらせるべきだと思う。教育を受けてない人の方が、TikTokのフィードで操りやすいしね。

ハハ、確かにそうだね。でも、彼は学校に孤立感と厳しい競争の文化があるって言ってるから、それに対する反応かもしれないね。

OPです：オープンソース戦略を教えています。主な戦略は協力です。もしあなたが賢いなら：1. 問題を特定する 2. 誰かに聞く 3. 理解を深める答えを得る そうすれば、どんな基準でもかなり良いことをしていると言えます。もう一つのトリックとして、私は時々こういうことをします。ある学生が概念をうまく説明できないとき、その学生を一人選びます。次に、その概念を理解していない学生を一人選びます。学生1に「20分で学生2にその概念を教えて。戻ったとき、彼の答えに基づいて評価するから」と言います。（もちろん、私はそれだけを評価するわけではありませんが、両者に追加の努力を強いることになります。学生2は学生1の失敗の原因になりたくないですからね。）

OPです：ほとんどの教授は、標準試験に合格するのが得意だったから教授になったんです（正直言って、他に得意なことがない人もいます）。私は違って、悪い学生でした。最低限の成績で卒業証書を取得しただけで、いつも何にでも反発していました。でも、私の大学にはオープンソースが本当に重要だと思っている良い人たちがいて、その分野で良いキャリアを持っている人が必要だったんです。私はその人でした（そのポジションを提供してくれたことに本当に感謝しています）。

これは、もし目標が良いものを選別することだったら素晴らしいけど、現代の西洋教育はできるだけ多くの授業料を払う学生を合格させることに重点を置いていて、できればその過程でそこそこ楽しめる経験を提供することが重要です。

閉じた本での試験、ノートシートなし、すべて手書き。口頭試験を追加する あなたが言っているのは、私の学校生活（イタリアだけど、ヨーロッパの多くは同じだと思う）での経験そのものです。中学校から大学までずっとそうでした。評価付きの宿題のアイデアは、ずっと不思議に思っていました。 > LLMの時代では、これが三重に真実だと思います。学ぶ価値があるものは変わりますよね？「ああ、成績が」と言う反応は馬鹿げていると思いますが、カリキュラムを適応させるのは狂ったアイデアではありません。

大学を卒業したら答えは「クビにならない程度に知ってればいい」 私は、同じ流れを続けて人類の知識の総和に貢献することが目的だと思っていました。だからこそ、人々は大学が本来の原則を失い、市場の力に反応して現在のアメリカ企業が求めるタイプの卒業生を生み出すようになったと批判するんでしょう。 > 「クビにならない程度に知ってればいい」という基準はどんどん低くなっています。通常、人は知識やその欠如ではなく、行動によってクビになります。デイビッド・グレーバーの核心的な主張が正しかったのかもしれません。ほとんどの仕事は実際には「クソみたいな仕事」で、インターネットの時代には、実際には正式な教育を受けなくてもできる仕事です。

「口頭試験を追加しよう、たとえそれが試験時間を大幅に増やすとしても。宿題は出さない、"完璧主義"を助長するから。」不安やADHD、その他の記憶に関する問題を抱えている人にとっては恐ろしいことだよね。これって、人工的なプレッシャーの中で情報を瞬時に暗記して思い出せる学生にとっては最適化されてるだけなんだよ。小学校の頃、試験の前後には理解してることに答えられたのに、試験中は真っ白になってたこともあった。自分の理解や知識を示す最良の方法は、実際にその知識を使うプロジェクト課題や、君が取り除きたいと思ってる「宿題」の例だと思うんだけど。情報処理の仕方が違う人たちに対して、知識や理解を示すための他の方法を考えるアイデアはある？

問題はもはや「どうやって人を教育するか？」ではなく、「仕事や能力って何のためにあるの？」になってる。文化は能力からパフォーマンスへと移行した。大学が中流階級の生活への入り口だったのが、今では借金の元になってる。あらゆる社会的パフォーマンスが、能力を持って働くことよりもずっと価値がある。能力は中心的な存在だったのに、今ではどんどん周辺的になってきてる。AIはそれを反映し、さらに強調してる。

電磁気学の教授が、「方程式を暗記する必要はない。どういう関係が形成されたのかを理解することが目的だ」と言ってた。そうすれば、各方程式が表す関係を理解できるようになる。これがこの発言の基礎だと思う。方程式を暗記することは、関係を理解するための基盤を与えてくれる。だから、これで十分だと期待してるのかもしれない。でも、物理は実際には数学や方程式についてではなく、システムが時間とともにどう進化するかの構造やダイナミクスについてだから、これは十分じゃないと思う。方程式はそのシステムの進化を表す一つの方法に過ぎないから。

でも、「解雇されないために十分」というのは、「なぜ何かを知るべきなのか？」という質問への答えにはならない。正直言って、あなたの投稿の残りが「なぜ何かを知るべきなのか？」という初めの質問や、「どれくらい知っておくべきか？」という暗黙の質問に答えようとしているのかはっきりしない。

学生が何かを暗記するべき理由には答えていないよ。「暗記は創造性の前提条件だ」という手を振るような理由を除いて。学生たちは、卒業後に忘れても安全なことを暗記するよう求められたとき、教育システムに疑問を持つのは当然だった。ほとんどの機能的な大人が学校で学んだことを忘れたと認めていたしね。これはLLMが登場する前からの問題で、今はさらに悪化している。ところで、私は今「暗記は創造性の前提条件だ」という意見には100%賛成だけど、16歳の自分を納得させようとしたら、手を上げてしまうだろうね。

なんで何かを知っておく必要があるの？ 明らかな答えは「面白いから」だよね。でも、もし君が厳密に実用的な観点で考えてるなら、どれだけの努力をしてどれだけのリターンを得るべきかってことになる。君に言いたいことが二つある。まず第一に、君が生きているのは無意味な人生だってこと。第二に、君がLLM（大規模言語モデル）があるから何も学ばないとしたら、僕は面白いからすべてを学ぶことになる。そうすると、君と僕が競争する時、僕もLLMを使ってることになるよね？ 同じ道具を使うけど、僕は推論できるのに君はできない。だから「なんで何かを知る必要があるの？」って悩んでる人は、結局何も学ばないと思う。学ぶには好奇心が必要だし、少なくともたくさんよく学ぶためにはね。もし好奇心があれば、何を学ぶべきかなんて考えないはずだよ。

よく見落とされがちなのは、LLMへの依存だね。今の学生は、LLMが常に手頃な価格で利用できると思ってる。もしLLMの料金が突然1ユーザーあたり月1000ドルになったらどうなる？ それともリクエストごとに1000ドルだったら？ 新しい学生や新しいプロフェッショナルは、まだ仕事をこなせるのかな？

オープンブック試験は新しいものじゃないし、STEMの分野（数学や生物学）ではよく経験したよ。科目によっては、しっかりとした理解がないと合格できないことが多い。何かをググるだけで試験に合格できるなら、それはただの暗記力を試してるだけで、もっと合成や批判的思考スキルが評価されるようなデザインが必要かもしれないね。

大学にいた頃、オンラインコースを推進する動きがあったのを見たよ。教授たちは学生に興味を探るためのアンケートを取ってたけど、あんまり人気がなかった。動機は明らかだったと思う：授業料は同じかそれ以上にして、運営コストを減らす。もしかしたら、リモートで受講する学生を増やすために入学者を増やすことも考えてたのかも。学位の価値が薄まって、質が悪くなっていくのに。なんで非営利の公立大学が利益最大化を目指してるの？

一度技術が採用されると、元に戻るのが本当に難しいよね。ほとんどの人は、その技術が本当にプラスかどうかを評価できないと思う。採用は合理的というよりも社会的なもので、だから人々に社会的価値観や行動を変えるように求めるのと同じことになる。

一つの可能性として、これは理解する能力よりも記憶する能力を重視しているってことかもしれない。最後の試験は10年以上前で、名前や数字を覚えるのが得意だったから、いつも良い成績を取ってた。でも、ほとんどの名前や数字は調べれば済むから、これをテストするのはあまり意味がないと思う。大学で勉強してた時、ある教授がほとんど講義に出席しなくても4年生の試験を通過したって噂があった。彼は写真記憶を持っていて、試験の前夜に必要な証明が載っている本をパラパラめくっただけだったんだ。それで、理解していなくても十分なポイントを得られたんだよね。もちろん、そんな記憶力を持ってる学生はごく少数だけど、私みたいに簡単に物事を覚えられる人に有利を与えるのは必ずしもフェアじゃないと思う。

物理の持ち帰り試験があって、インターネットや本は使えても他の人はダメだった（でもそれは名誉コードに基づいてた）。あれは人生で受けた中で一番難しい試験の一つだった。数ページにわたる数学的な導出があったからね。数学をうまく構築できるLLMなら、実際にその問題をかなりうまく解決できたと思う。

このアプローチはまだ有効なんだから、他のことをする理由は何？一つの問題は、各作品を採点するために与えられる時間がどんどん減っていることだ。時には20ページに15分しかもらえないこともあって、管理側は9時から5時まで昼休み30分で連続して採点できると思ってる。人々を正気に保っているのは、提出しない学生や明らかに質が低いものを提出する学生だけだ。だから、可能な限り、試験を設計する際もテキストを制限しようとする。選択肢問題、線を引く、基本的な図、計算などね。中にはひどい字を書く学生もいるし、試験室でダムターミナルを使うのには反対じゃない。もしかしたら、バックグラウンドでテキストを同期してバックアップしてるかもしれない。> 学生のGoogleを使う能力を特にテストしているわけじゃないなら、アクセスは必要ないよ。私は学生をテストする側だったけど、いつもすべてを覚えているわけじゃない。時には、学生がそのトピックを理解していて、正しい情報を見つけるための直感を持っていることを示せれば十分だと思う。

私は授業でこのモデルに戻ってきてる：ペンと紙のクイズ、デジタルデバイスはなし。個々に緊張を和らげるために、同じ重みのクイズを7回やってる。プロジェクトやプログラミングの重みを60-80%から50%に減らしたのは、学生が実際に作業をしたかどうかを判断するのが難しいから。

10年前、私たちは自分の理解したことを手書きで試験を書いてた。君もそうだったけど、私が受けた中で一番良い試験はオープンブックで何でも持ち込み可だった。25年以上前の話だよ。別の教授は「A4の用紙を一枚持ち込んで、好きなメモを取ってもいいよ」ってやってたこともある。

私は修士課程で教えてる。学生たちは全国や世界中に散らばってるから、手書きの試験は難しいんだ。幸いなことに、彼らに出すエッセイの問題は、チャットボットがひどい提出物を出すような内容だから。

今、学校に通ってるけど、ほとんどの授業は実際に紙と鉛筆のテストを強制してる。採点やコーディングが面倒なのにね。

私は修士課程で教えていて、ここ数年で約15%の学生がカンニングしてる。明らかにカンニングしてるのがわかる、例えば二人の学生が100%同じ回答を提出するような感じ。

でも、このクラスは他のクラスで同じ学生たちがやってることをあまり代表してない気がする。

アメリカの大学院にいる留学生たちは、見た感じだと基本的に学位を買ってるようなもんだよ。教授たちは彼らがカンニングしてるのを知ってるけど、あんまり気にしてないみたい。学生たちはお金をたくさん払ってるし、その分のものは手に入れるだろうね。