LLMは「脳の腐敗」を引き起こす可能性がある

216日前原文(llm-brain-rot.github.io)

概要

本研究は LLM Brain Rot仮説 を提唱し、検証
低品質なWebテキスト への継続的曝露がLLMの認知能力を劣化させることを実証
Twitter/Xデータ を用いた統制実験を実施
認知機能への影響や失敗モード、回復困難性を詳細分析
データ品質管理 の重要性とLLMの“認知健康チェック”の必要性を提言

LLM Brain Rot仮説：研究概要と動機

Brain Rot とは、低労力・高エンゲージメントなコンテンツが人間の認知を鈍化させる現象
LLMも同様に、 “ジャンク”なWebデータ を継続的に学習することで認知機能が劣化する仮説
AIのデータキュレーション を“認知衛生”と捉え直し、LLMの品質維持の指針とする動機
既存研究との差別化点は、データ品質を「人間にとって消費が容易で断片的な内容」と再定義している点

実験設計と介入方法

LLMの“思考様式”の変化を観察するため、 継続的事前学習 による介入
- ジャンクデータ または クリーンデータ を一定期間学習させる
- 介入後、全モデルに同一の インストラクションチューニング を実施し、バイアスを排除
データ選定指標
- M1: エンゲージメント度 …短くて人気の投稿（いいね・リツイート・返信が多い）をジャンク扱い
- M2: セマンティック品質 …煽情的・表層的な表現（例：WOW, LOOK, TODAY ONLY）が多い投稿をジャンク扱い

認知機能ベンチマーク

Reasoning（推論力） ：ARC（抽象的な概念・推論パズル）
Memory & Multi-tasking（長文・複数問対応力） ：RULER（長文からの多重検索・理解）
Ethical Norms（倫理性） ：HH-RLHF & AdvBench（有害指示への応答評価）
Personality（性格傾向） ：TRAIT（心理学的尺度による人格評価）

介入効果と認知能力の低下

ジャンクデータ学習後のLLM は、推論・長文理解・倫理性・人格傾向で 顕著な劣化 （Hedges' g>0.3）
M1（エンゲージメント度） の介入は、M2（セマンティック品質）よりも推論・長文理解への悪影響が大きい
ジャンクデータの混合比を増やすと 認知機能が段階的に低下 （例：ARC-Challengeスコアが74.9→57.2へ減少）

失敗モードの分析

“思考スキップ” （推論過程の省略・中断）が主な失敗要因
- ジャンクデータ曝露モデルでこの傾向が顕著
人気度（エンゲージメント） は、ツイートの長さよりもBrain Rotの指標として有効

回復困難性と対策の限界

インストラクションチューニング や クリーンデータでの再学習 でも完全な回復は困難
認知的劣化は 表層的な形式の問題ではなく、深層表現のドリフト が原因

結論と提言

LLM Brain Rot仮説 を実証し、ジャンクデータへの継続曝露がLLMの多面的な認知能力低下を引き起こすことを確認
劣化は推論力・長文理解・倫理性・人格傾向に及び、 大規模な後処理でも回復困難
インターネットデータ収集・継続学習のあり方を再考 し、品質管理・“認知健康チェック”の導入を推奨

参考文献

Xing, Shuo, Hong, Junyuan, Wang, Yifan, Chen, Runjin, Zhang, Zhenyu, Grama, Ananth, Tu, Zhengzhong, Wang, Zhangyang. "LLMs Can Get 'Brain Rot'!" arXiv:2510.13928, 2025.

Hackerたちの意見

これって、ただの「ゴミを入れたらゴミが出る」ってやつじゃないの？注目を集めるタイトルだけで。

└

注目が全てだよね。

└

現在のLLMトレーニングの最先端が、大量のゴミ（少しの良いものも混ざってるけど）を与えることだと考えると、これを指摘するのは重要だと思う。たとえそれが明らかに見えてもね。

└

うん、コンピュータサイエンスの職業について心配してるよ。 >「LLMのための“脳の腐敗”は、ただのキャッチーなメタファーじゃない。それはAIのためのデータキュレーションを認知的衛生として再定義する」メタファーそのものだよ。LLMは人間の認知を持ってないし、臨床心理学的評価の対象として有効だと考える科学も確立されてない。こんなことがどうやって出版されるのか、これは基本的にブログ記事だよ。AIブームの最悪な側面の一つは、かなりの量の学問が完全にカルト的なジョークになってしまったことだね。

└

さらに手間がかかるね！

└

そうだね、LLMトレーニングに関しては「ゴミを入れたらゴミが出る」はまだまだ真実だよ。この論文で特に指摘したい2つの点は： - 事後トレーニングがどんなに合理的でも、悪いパイプラインからの事前トレーニングでは救えない。つまり、入力された事前トレーニングデータの構文が正当でも、悪い暗黙の行動（思考のスキップ）を学んでしまっている。 - 「悪いデータ」を分類しようとするのは、それ自体が簡単な問題じゃない。ここでは、エンゲージメントのヒューリスティックアプローチが、コンテンツのLLM分類よりも信頼性が高いことが証明されたよ。

└

そうだけど、チャットGPTがスキビディトイレや「6 7」のネタに徐々に変わっていくって考えると、なんか面白いイメージが浮かぶね。

若い世代が作るコンテンツのほとんどがスキビディトイレ[1]や67[2]についてなら、LLMはそれを基にトレーニングされるんじゃないの？ [1] https://en.wikipedia.org/wiki/Skibidi_Toilet [2] https://en.wikipedia.org/wiki/6-7_(meme)

└

トレンドが長続きするならともかく（めったにないけど！）、知ってる子たちによるとスキビディはもう古いニュースだよ。

LLMが答えをループして、必要ないことを言ってるたびにお金がもらえたらいいのに。最近も、LLMの回答に悩まされて、簡単な構文エラーすら検出できなかったんだよね…

この論文を読んで、アルファ世代の子供たちのメディア消費パターンが長期的にどんな影響を与えるのか気になった。

└

なんで子供だけなの？

「LLMのための“脳の腐敗”を研究することは、ただのキャッチーなメタファーじゃない。データキュレーションをAIのための認知衛生として再定義し、どのようにトレーニングコーパスを調達、フィルタリング、維持するかを導くことで、展開されたシステムが時間とともに鋭く、信頼性があり、整合性を保つようにする。」これはまさにLLMが書いた一文だね。著者たちも自分たちの脳の腐敗に悩まされているみたい。

└

もし意図した情報が伝わるなら、それが何か問題なの？ここで津波と戦ってるんだよ。人々は今後ずっと、LLMを使って文章を書くのを助けるだろうね。

└

確かにこれはLLMが書いた文だね。エムダッシュを使っているだけでなく、オブジェクトをシリーズで列挙しているし、同じ文の中で二回も。これがLLMの典型的な行動で、出力が目立って、明らかで、HNの読者にはすぐにわかるんだ。

脳の腐敗テキストはそれなりに有害に思えるけど、脳の腐敗動画はしばしばシュールで、意味が濃いからパフォーマンスが向上する可能性がある（例えば、このドイツの脳の腐敗分析で話されているように https://www.youtube.com/watch?v=-mJENuEN_rs&t=37s）。例えば、シュヴァンクマイエルは基本的に原始的な脳の腐敗だけど、博物館で見て考えるようなものでもある。要するに、脳の腐敗という側面は、彼らが測っているのがパフピースか濃密なものかということだから、ちょっと用語の混乱があるかもしれない。

└

そうは思わないな。子供向けの脳の腐敗動画についての研究もあるし[0]、ポジティブなトレンドには見えない。十分に「構築」されたものは、脳の腐敗スペクトルの端には分類されないと主張したいね。[0]: https://www.forbes.com/sites/traversmark/2024/05/17/why-kids...

└

だからこそ、今見られるAIを使った人間操作の急増（アートも意図せずに操作の一形態だよね）は、技術的な情報処理としての過剰な宣伝よりもずっと重要だと思う。LLMによって生まれた脳の腐敗は心配すべきことだし、彼らが「人を喜ばせる」ようにデザインされているのも気になるよね。人間に擬人化されるのも、確かに怖い部分がある。

これは、初期の大手プレイヤーにとっての潜在的な防壁になるかもしれないね。未来のプレイヤーは、AIじゃないスラッジや死んだインターネットを使って新しいモデルを訓練することができないから。

このテーマに少しでも興味がある人には、Common Crawlのランダムサンプルをダウンロードしてみることを勧めるよ（チャンクは約100MB）。自分で訓練データに何が使われているか見てみて。 https://data.commoncrawl.org/crawl-data/CC-MAIN-2025-38/segm... ここで、繰り返すのは賢明じゃないと思うようなものがたくさん見つかったよ。でも、データクリーニングプロセスでそういうコンテンツはプリトレーニングの前に取り除かれるんじゃないかな？ ;) でも、ちょっと疑問に思う。基本的なテキストのLlamaモデルで遊んでみたけど、すごく不気味な出力が出たから、あんまりクリーニングは進んでいないのかも。

└

でも、データクリーニングプロセスでそういうコンテンツはプリトレーニングの前に取り除かれるんじゃないかな？ ;) 君が言っていることは確認してないけど、そうだね、大手プロバイダーはそういうコンテンツを検閲・フィルタリングするための最新の分類器を持っている可能性が高いよ。それがうまくいかないときは、RLHFで行動を抑制できるし。君は「ゴミが入ればゴミが出る」みたいな主張をしようとしているけど、もし小さな防壁があるとしたら、それはこれらのデータセットのフィルタリングや、Common Crawlとは違って自由に使えない他の大きなデータソースのライセンスを購入することにあるんだ。

└

カーパシーが最近言ってたけど、ランダムなCommon Crawlのサンプルは完全にゴミで、WSJの記事みたいなものは非常に稀で、モデルが何かを学べるのは奇跡だって。

息子がインスタグラムのリールを送ってくれたんだけど、猫の内部の仕組みを説明している内容で、冗談みたいな感じだった。「ゴロゴロセンター」と「テーブルから物を落とす器官」を紹介してたんだ。人間なら誰でも面白いだけだとわかるように、完全に真剣に提示されてた。最初に思ったのは、今この動画でLLMが訓練されているんじゃないかってこと。

└

この「修理」動画を思い出したよ。 https://www.youtube.com/watch?v=3e6motL4QMc

「認知的衛生としてのLLMは、自覚がない。ひどいメタファーだ。問題の本質を隠している。提供者たちはデータの調達をケチって、その結果、LLMは嘘のゴミや著作権のある素材でいっぱいになってしまった。」

ハクソク