この54人の参加者は18歳から39歳で（平均年齢M = 22.9、標準偏差SD = 1.69）、ボストン地域の以下の5つの大学から募集されました：MIT（14人の女性、5人の男性）、ウェルズリー（18人の女性）、ハーバード（1人不明、7人の男性、2人のノンバイナリー）、タフツ（5人の男性）、ノースイースタン（2人の男性）（図3）。35人の参加者が学部生として勉強中で、14人が大学院生です。6人の参加者は修士号または博士号を取得しており、現在大学でポスドク（2人）、研究科学者（2人）、ソフトウェアエンジニア（2人）として働いています。私はこの研究の規模と構成を制約と見なし、確認のためにより大規模で多様な研究を追求する理由だと思います。再現性に関して「苦労する」と期待する理由にはならないと思います。

うん、俺のバカ検知器がChatGPTを使ってるときよりもさらに反応してる... 4. これはクリックベイトの研究だから、真実である可能性は自動的に低くなるよね。5. 明らかなことを驚きのように宣伝してるのが気に入らない。例えば、何か別のことを書くとエッセイを覚えにくくなるとか、ChatGPTのエッセイが冗長で表面的だったり。

ピアレビュー前の論文は話半分に聞くべきだっていうのはもうやめるべきだと思う。ピアレビューは理想的な科学的な取り組みじゃなくて、しばしばバカげたコメントを生むし、リリースを遅らせるし、利益率の高い企業にとっては無料の労働になることが多い。30本以上の論文を出版した経験から言うと、良いコメントと同じくらい悪いコメントや役に立たないコメントももらってきた。少なくともオープンピアレビューと編集コミュニケーションにデフォルトを置くべきだと思う。科学はアイデアの市場にならなきゃ。あなたの他の批判も完全に妥当だよ。それが最前線にあるべきだし、同意するよ。この論文の結論は早すぎて、見出しを取ったり引用を得るために作られてる。スラッシュドットで「初投稿」って書いてるようなもんだ。個人的には、今のピアレビューの基準を時代遅れのものとしてしか見てない。

もう一つ注目すべきは、「AI」がLLMの代わりに使われていることだね。AIっていろんなものがあるから、画像や動画、音声を生成することで認知機能が低下するとは思わない。LLMがもたらすのは、知的な怠惰だと思う。LLMが覚えてくれるなら、わざわざ何かを暗記したり思い出したりする必要がないって感じ。

一般的には、紙の弱点には同意するけど、その結果に対する懐疑的な見方には賛成できない。私たちの体は、やることに自然に適応するから。何かをやれば、その体験が強化されて、さらに高度なことができるようになる。逆に、何もしなければ、そのスキルや筋肉は時間とともに衰えていく。LLMに（この場合）エッセイを書かせるのは、実際に自分で書くよりも何倍も簡単だから、LLMを使ってエッセイを書くことで、自分の能力が徐々に低下するのは明らかだと思う。理由があってこれが当てはまらない可能性もあるけど、それはかなり驚きだね。

このコメントは、いわゆるダニング・クルーガー効果を思い出させる。あの論文は参加者の数がかなり近く、参加者は一つの学校（コーネル大学）から集められた。方法論にも大きな問題があって、再現性や一般化の面で苦戦しているし、実際にいくつかのケースでは敗北している。それでも、私たちはそれに対して有名な用語を持っていて、人々はそれをしばしば誤用している。問題は、人々が信じたい見出しが再現性やサンプルサイズ、方法論の問題を覆す非常に強力な力を持っていることだ。AIが脳を腐らせるというのは、SNSが脳を腐らせるのに続いていて、さらにその前にはゲームが脳を腐らせる、そしてその前にはテレビが脳を腐らせるという流れがある。テレビが最初ではなかったと思う。機械が私たちを愚かにすることを公に心配する長い伝統がある。

いろんな意味で皮肉だよね。これは30年前、科学が原始宗教的な同調の社会クラブになる前には、出版社と同じ部屋にすら入らないような学部レベルのプロジェクトだったかもしれない。

これは特にChatGPTがユーザーのエッセイを書く能力に与える影響についてのものであることも注目に値するね。つまり、もし書くスキルを練習しなければ、そのスキルは衰えてしまうということ。これは有害だとは言えず、他のエッセイ執筆方法で観察される脳の活動と同じものを引き起こさないだけのようだ。また、元の論文では「認知的負債」という用語が使われていて、認知的衰退ではないので、解釈や結論に重要な影響を与えるかもしれない。似たような研究で同じような結果が出るのは驚かないけど、すべてのLLM/AIの使用が脳に有害だと広く結論づけるのは少し早い気がする。もっと警戒心のない見方をすると、AIの使用は認知負荷を減らすことでエッセイ執筆プロセスを効果的に簡素化し、より広いオーディエンスにとってエッセイを容易でアクセスしやすくするとも解釈できるけど、それを確認するには参加者の成果を評価する別の研究が必要になるだろうね。

同意するよ。LLMに書かせるのは怠けてるし、結果もイマイチになる（脳が腐るかどうかは分からないけど）。ドラフトを作ってLLMに批評してもらうのは好きだし、盲点やより良い表現の方法を見つけるのに役立つよ。

GPSやGoogleマップ、Appleマップを使って、何も考えずに目的地に行くのと似てると思う。めっちゃ便利だけど、空間認識や地理的記憶に必要な脳の部分が腐っていく感じもある。意思決定にも脳の劣化を引き起こすことがあるし、普段はそれで十分だけど、時には本当にバカみたいな結果を招くこともある（特に実際の住所を二重チェックせずに、ビジネス名とかを入れるだけの時）。使い方によっては、地図データが間違ってたり、更新されてなかったり、天候条件を考慮できなかったりして、特に山の中や大都市の外では行き詰まることがある。盲目的に使うことで、バカな状況に自分を追い込んで、命を落とす人も多かった。紙の地図を使っても行き詰まることはあったし、時には死んでしまうこともあった。そういう時は、迷ってることに気づいてる人が多かったから、今よりはずっとましだった。失敗の仕方が違うんだよね。紙の地図はすごく不便だったから、もっと人とのやり取りを増やしたり、余裕を持ったりしてた。それにはコストもかかってたけど。今の東欧みたいに、悪意のある人がいる地域では、積極的に病的な結果を招くこともある。今や、紛争地域以外で紙の地図を使う人はほとんどいなくて、特定の商業や政府の用途を除いて、デジタル化された「紙」地図を使うことが多い。