この54人の参加者は18歳から39歳で（平均年齢M = 22.9、標準偏差SD = 1.69）、ボストン地域の以下の5つの大学から募集されました：MIT（14人の女性、5人の男性）、ウェルズリー（18人の女性）、ハーバード（1人不明、7人の男性、2人のノンバイナリー）、タフツ（5人の男性）、ノースイースタン（2人の男性）（図3）。35人の参加者が学部生として勉強中で、14人が大学院生です。6人の参加者は修士号または博士号を取得しており、現在大学でポスドク（2人）、研究科学者（2人）、ソフトウェアエンジニア（2人）として働いています。私はこの研究の規模と構成を制約と見なし、確認のためにより大規模で多様な研究を追求する理由だと思います。再現性に関して「苦労する」と期待する理由にはならないと思います。

うん、俺のバカ検知器がChatGPTを使ってるときよりもさらに反応してる... 4. これはクリックベイトの研究だから、真実である可能性は自動的に低くなるよね。5. 明らかなことを驚きのように宣伝してるのが気に入らない。例えば、何か別のことを書くとエッセイを覚えにくくなるとか、ChatGPTのエッセイが冗長で表面的だったり。

ピアレビュー前の論文は話半分に聞くべきだっていうのはもうやめるべきだと思う。ピアレビューは理想的な科学的な取り組みじゃなくて、しばしばバカげたコメントを生むし、リリースを遅らせるし、利益率の高い企業にとっては無料の労働になることが多い。30本以上の論文を出版した経験から言うと、良いコメントと同じくらい悪いコメントや役に立たないコメントももらってきた。少なくともオープンピアレビューと編集コミュニケーションにデフォルトを置くべきだと思う。科学はアイデアの市場にならなきゃ。あなたの他の批判も完全に妥当だよ。それが最前線にあるべきだし、同意するよ。この論文の結論は早すぎて、見出しを取ったり引用を得るために作られてる。スラッシュドットで「初投稿」って書いてるようなもんだ。個人的には、今のピアレビューの基準を時代遅れのものとしてしか見てない。

もう一つ注目すべきは、「AI」がLLMの代わりに使われていることだね。AIっていろんなものがあるから、画像や動画、音声を生成することで認知機能が低下するとは思わない。LLMがもたらすのは、知的な怠惰だと思う。LLMが覚えてくれるなら、わざわざ何かを暗記したり思い出したりする必要がないって感じ。

一般的には、紙の弱点には同意するけど、その結果に対する懐疑的な見方には賛成できない。私たちの体は、やることに自然に適応するから。何かをやれば、その体験が強化されて、さらに高度なことができるようになる。逆に、何もしなければ、そのスキルや筋肉は時間とともに衰えていく。LLMに（この場合）エッセイを書かせるのは、実際に自分で書くよりも何倍も簡単だから、LLMを使ってエッセイを書くことで、自分の能力が徐々に低下するのは明らかだと思う。理由があってこれが当てはまらない可能性もあるけど、それはかなり驚きだね。

このコメントは、いわゆるダニング・クルーガー効果を思い出させる。あの論文は参加者の数がかなり近く、参加者は一つの学校（コーネル大学）から集められた。方法論にも大きな問題があって、再現性や一般化の面で苦戦しているし、実際にいくつかのケースでは敗北している。それでも、私たちはそれに対して有名な用語を持っていて、人々はそれをしばしば誤用している。問題は、人々が信じたい見出しが再現性やサンプルサイズ、方法論の問題を覆す非常に強力な力を持っていることだ。AIが脳を腐らせるというのは、SNSが脳を腐らせるのに続いていて、さらにその前にはゲームが脳を腐らせる、そしてその前にはテレビが脳を腐らせるという流れがある。テレビが最初ではなかったと思う。機械が私たちを愚かにすることを公に心配する長い伝統がある。

いろんな意味で皮肉だよね。これは30年前、科学が原始宗教的な同調の社会クラブになる前には、出版社と同じ部屋にすら入らないような学部レベルのプロジェクトだったかもしれない。

これは特にChatGPTがユーザーのエッセイを書く能力に与える影響についてのものであることも注目に値するね。つまり、もし書くスキルを練習しなければ、そのスキルは衰えてしまうということ。これは有害だとは言えず、他のエッセイ執筆方法で観察される脳の活動と同じものを引き起こさないだけのようだ。また、元の論文では「認知的負債」という用語が使われていて、認知的衰退ではないので、解釈や結論に重要な影響を与えるかもしれない。似たような研究で同じような結果が出るのは驚かないけど、すべてのLLM/AIの使用が脳に有害だと広く結論づけるのは少し早い気がする。もっと警戒心のない見方をすると、AIの使用は認知負荷を減らすことでエッセイ執筆プロセスを効果的に簡素化し、より広いオーディエンスにとってエッセイを容易でアクセスしやすくするとも解釈できるけど、それを確認するには参加者の成果を評価する別の研究が必要になるだろうね。

同意するよ。LLMに書かせるのは怠けてるし、結果もイマイチになる（脳が腐るかどうかは分からないけど）。ドラフトを作ってLLMに批評してもらうのは好きだし、盲点やより良い表現の方法を見つけるのに役立つよ。

GPSやGoogleマップ、Appleマップを使って、何も考えずに目的地に行くのと似てると思う。めっちゃ便利だけど、空間認識や地理的記憶に必要な脳の部分が腐っていく感じもある。意思決定にも脳の劣化を引き起こすことがあるし、普段はそれで十分だけど、時には本当にバカみたいな結果を招くこともある（特に実際の住所を二重チェックせずに、ビジネス名とかを入れるだけの時）。使い方によっては、地図データが間違ってたり、更新されてなかったり、天候条件を考慮できなかったりして、特に山の中や大都市の外では行き詰まることがある。盲目的に使うことで、バカな状況に自分を追い込んで、命を落とす人も多かった。紙の地図を使っても行き詰まることはあったし、時には死んでしまうこともあった。そういう時は、迷ってることに気づいてる人が多かったから、今よりはずっとましだった。失敗の仕方が違うんだよね。紙の地図はすごく不便だったから、もっと人とのやり取りを増やしたり、余裕を持ったりしてた。それにはコストもかかってたけど。今の東欧みたいに、悪意のある人がいる地域では、積極的に病的な結果を招くこともある。今や、紛争地域以外で紙の地図を使う人はほとんどいなくて、特定の商業や政府の用途を除いて、デジタル化された「紙」地図を使うことが多い。

Firefoxが自動修正機能を追加した時、使い始めてから、正しいとされることを学ぶようにしたんだ。そうすることで、もっと正確に書けるようになった。今ではスペルもかなり良くなったけど、まだ間違えることもあるし、読んだことがあるけど聞いたことがない単語を発音するのはさらに難しい。英語は私にとって第二言語なんだけどね。どんな開発者でも、LLMを使って早く学び、早く結論に達すると思う。新しいプロジェクトで直面するプログラミングの問題は、以前にも経験したことがあるけど、前回の解決策を思い出せなくてイライラすることがある。LLMがその解決策を早く思い出させてくれるのは助かると思う。時には5年もやっていない「初回設定」のことを忘れてしまうこともあるし、前の仕事のウィキに書いたかもしれないけど、LLMが思い出させてくれるかもしれない。私たちはLLMの使い方を自己評価して、より良いソフトウェアエンジニアになる手助けをしてもらうべきだと思う。

AIツールを使いすぎてプログラミング関連の問題を解決する際に認知機能が低下した経験がある。知らないプログラミングエコシステムに取り組むと、エラー出力をコピー＆ペーストして問題を解決するのがすごく簡単で魔法のように感じる。以前は問題を解決するのにもっと時間がかかっていたけど、その分もっと多くを学んでいた。私は逆の経験をしているけど、アプローチが違うんだ。エラーをただコピー＆ペーストするだけじゃなくて、AIの答えがうまくいったらそれを受け入れて次に進むんじゃなくて、なぜその答えがうまくいくのかを理解するためにフォローアップの質問をする。たとえば、特定のコマンドを実行することを提案されたら、そのコマンドを分解してフラグの意味を説明してもらう。提案が問題を解決する理由が分かるまで納得できたら、その提案を受け入れて次のことに進む。私にとってのトレードオフは、個々の知識の単位を学ぶのにかける時間が減ることだけど（それはおそらく記憶に残りにくい）、次の解決すべき問題にすぐに移れるから、より多くのことを学べるということ。

そして正直に言うと、LLMの夜明けの前にアナログシンセを作ることで似たようなことを学んだ。あなたと同じように、動画を見るのは好きじゃない。でも、ウェブにはテキストもあるし、あなたが使ったLLMのトレーニングに使われたのと同じテキストもあるよね。

「思った通りにいかないとき、AIがどこで間違えたかを理解する手助けをしてくれるし、たくさん質問して、理解するまで何度も挑戦する。」 同じようなことだけど、実際の世界か書かれた文書に聞かなきゃならない。あなたがLLMで学ぶ方法を見つけたのは嬉しいけど、LLMなしでも長い間学んできた人たちがいることを忘れないで。LLMが他の方法よりも学ぶのに優れているかどうかは全く明らかじゃないから。

同じく。解答のない教科書を使って勉強してるんだけど、ChatGPTが解答やヒントをもらうのにすごく役立ってる。

そうだね、もしLLMを師匠に質問する弟子のように使ってるなら、それは全然悪くないと思うよ。

いいね、でもほとんどの人はこれで脳が腐っちゃうと思う。SNSが人にとって悪いって話をよくするけど、コメント欄には「俺は中毒じゃないし、海外にいる高校の友達とコミュニケーションするには他に方法がない」って言う人がいるしね。どんなテクノロジーでも、ポジティブな面だけを受け取るわけじゃないよ。

こういうことをやっている者として、どうしてAIを選ぶのか、どうやって選ぶのかが気になるな。テキストから学ぶのが一番難しい方法だと思う。はんだ付けの感覚や、良い仕事・悪い仕事が実際にどう見えるかを説明した文章にはまだ出会ったことがない。よく撮れた動画の方が、やるべきことを見せるのにはずっと良いよね（でも、そういうのを見つけるのがどんどん難しくなってるけど）。

AIにとっては楽観的な話だね。まるでドラッグみたい。使い始めると、自分にスーパーパワーがあると思っちゃって、でも気づいたら考える力を忘れてて、AIを使わないと前と同じくらい賢くなるのも難しくなってる。どの会社も、以前の生産性を取り戻すために、エンタープライズAIソリューションが必要になるだろうね。

「ただプロンプトを調整すればいいんだよ」って言ってる人たちは、学ぶチャンスを逃してると思う。逆に、彼らは別の何かのために直感を学んでいるのかもしれない。抽象度が上がってきてるんだよね。今のモデルのレベルが床であって天井じゃないってことを、どうしてみんな理解できないんだろう。ギャリー・マーカスみたいな否定的な意見があっても、AIの能力がスケールダウンしたり進歩が遅くなったりする兆候は全く見られない。だから、もし将来人間の労働に価値が残るとしたら、それはAIモデルに自分が望むことを正しくやらせる能力になるかもしれない。

今まさに目の前でスキルの分化を目撃してるよね。(1) 概念を深く理解して、メンタルモデルを構築し、あらゆるレベルでコードに実装できる人たちと、(2) 機械にアウトソースして、少しずつその能力を失っていく人たち。今はこの二つのグループの違いはそれほど目立たないけど、数年後にははっきりしてくると思う。

面白いね、ありがとう。彼は手書きでコードを書いてたの？それは理解を深めるのにすごく良い方法だと思う（ちなみに、僕は仕事でコードを書くわけじゃないけど）。歴史家の職業でも似たようなことがあるよ（これも仕事ではやってないけど、少し知識がある）。物理的なアーカイブに一日中没頭している歴史家は、時間が経つにつれてアイデアをまとめたり、そのテーマに対する直感を育てたりするのが得意になる傾向がある。でも、Googleで引用や文書を探している人たちは、トピックについて静的で粗い見方を持ちがちだよね。異なる視点から考えたり、あるものが別のものにどう影響するかを見たり、同じ現象が異なる形で現れるのを見ることが少なくなる。自分の主張に対して偏った見方をするようになりやすい（ちょっと大げさな言葉だけど、要点は伝わると思う）。

数日前にコーディングのためにLLMを使うのをちょっと休もうって決めたんだ。すごく気持ちいいよ。自分でコードを理解するだけで、すごく早く進むのが面白い。

それは良いことだね。論文を書く人が、誰もがそのレベルの注意を持って論文を読むとは思ってないこともあるし、時間が経つにつれて著者にとって面白い結果をもたらすこともあるよ。頑張ってねって言うしかないな！

最近は結構上の方にいるから、あんまりコードに触れないけど、新しいコードやアイデアに触れるのは本当に勉強になると思う。 「ただプロンプトを調整すればいいって言ってる人たちは、学ぶチャンスを逃してるよ。」 「プロンプトだけ使って、出力をちゃんと読まないで、どうしてそれがうまくいったのかを理解しないと、絶対に上達しないよ。でも、どうしてそれがうまくいくのかを理解する時間を取れば、次回は質問すらしないかもしれない。前にも言ったけど、2005年にFirefoxの自動修正機能を使い始めたとき、スペルを学ぶことにしたんだ。そうすれば、時間が経つにつれてタイプミスが減ると思ったから。英語は第二言語だから、ネイティブのアメリカ英語のアクセントがあっても、常に苦労してる。Firefoxの自動修正機能は本当に助けてくれた。LLMを使って、インポスター症候群で挑戦するのが怖いことに飛び込んで、早く成果を上げて、学びながら進むことができると思う。大事なのは、ツールを正しく使うことだね。AIはある意味で無限の薬みたいなもので、手元に膨大な知識の泉があるけど、それを賢く使って学ぶ必要があるんだ。」

この研究は心理学や神経科学の観点から見ると、正直かなり雑に行われていて、神経コミュニティからはその結果が解釈不可能だとバカにされていることに注意すべきだね。 リンクや引用はある？その主張をしている人たちの。