AIに研究をさせる前に、まずは研究を「再現」させるべきじゃないかな。例えば、深層学習の技術に関する論文を与えて、その実装を作らせるとか。そこができるようになるまでは、新しいアイデアを生み出せるとは思えないよ。

「私が読んだほとんどの深層学習の論文では、専門家が結果を細かくチェックして出力の質を確認していない。どれだけの他の一見印象的な論文が精査に耐えられないだろう？」これって本当にそうじゃないの？自分の分野のAI論文をいくつか読んだし、他の専門家も読んでると思う。ただ、コンピュータサイエンスやソフトウェア関連の研究は生物学よりもチェックしやすいと思う（もしかしたら自分が生物学に詳しくないからかもしれないけど）。

レイチェル・トーマスの記事、めっちゃ良かった！これは基本的に、深層学習が「生成的」な情報検索としてしか機能しないっていう別の主張だよね。つまり、訓練データが基盤となるドメインの非常にロスの多い表現だから。遺伝子のデータやラベルが生物学という基盤を完璧に表しているわけじゃないから、出力が間違っていたり無効だったり意味不明になることがある。うまくいく場合はデータ漏洩があるし、LLMは情報検索ツールとして設計されているからね。情報理論の観点から見ると、どんなモデルにも根本的な「未知の未知」がある。自分の考えとしては、アルゴリズムのせいじゃなくて、訓練データセットのせいだと思う。私たち人間は自然言語の領域で流動的に動けるし、子供でもテキストが意味を成すかどうかを読んで評価できる。これがNLPで訓練されたモデルの成功を説明してる。でも、訓練データが根本的なドメインをロスを伴って表している場合、完璧にはならないよね。

AIに必要なのは「現実チェック」サブシステムだね。LLMは、あなたの心の中の幻想的な部分が常にフレーズ（アイデア）をつぶやいているようなもので、私たちの脳内のつぶやきが無限に間違った発言をしないようにするのは、「私の発言は反証可能なものを描写しているか？」と「反証可能性は検出できるか？」っていうチェックなんだ。部屋の中を見回して教会にいる人たちを見て、ああ、再評価すると、これは全員に当てはまるわけじゃないな…。

科学の世界にもフェイクニュースが浸透してきてる感じだね。バカなことを言う方が、反論するよりもずっと多くのビューや「いいね」を集める。Twitterとネイチャーのジャーナルを比べることはできないけど。科学は、評判の良いジャーナルやピアレビューのおかげで、こういうバカげたことに免疫があるはずなんだ。出版前に害を及ぼす前にブロックするべきなのに。これはネイチャーの失敗だったの？

後の調査でデータ漏洩があった可能性が示唆されている これはよく忘れられがちなポイントだと思う。誰もがデータ漏洩があると仮定すべきで、それが強く証明されるまではそう考えるべきだよ。データ漏洩があることを証明するのは読者や懐疑派の役割じゃなくて、著者の証明責任なんだ。小さなデータセットではデータ漏洩が簡単に起こるし、すべてを見れるデータセットでは特にそう。データ漏洩は本当に簡単に導入できて、知らず知らずのうちにやってしまうことが多い。微妙なことがデータを台無しにする。今は誰もが手動で全部をチェックできない巨大なデータセットについて話してるんだ。フィルタリング方法が完璧じゃないことは分かってるのに、どうして漏洩がないと信じられるんだろう？フィルタリングしたと言えるけど、漏洩がないとは言えない。それ以上に、私たちがアクセスできるデータセットでも頻繁に問題が見つかってる。だから、そういうことが起こっている証拠が頻繁にあるのに、どうして私たちは問題がないと仮定し続けるんだろう？ハイプ？正直言って、私たちが信じたいから自分たちに嘘をついてるように聞こえる。でも、そういう問題について自分たちに嘘をついていては解決できないよ。

「Nature Communications」を「Nature」って呼ばないで。全然格が違うから。あと、オルトメトリクスはあんまり関係ないかも、公共の盛り上がりを測るには使えるかもしれないけど。

自分の限られたLLMの経験（研究者として）にぴったり合ってる。書き言葉の理解力や表現力はすごく印象的だけど、 -最良の答え- にたどり着くのは難しい。特に未解決の質問に関しては、半日かけても解決できないような質問に対して、ほぼ即座に返ってくる回答は満足できることが少ない。複雑な質問はじっくり探る必要があるし、今のところLLMの解決できないこと（その能力の限界）は、全く間違っていても自信満々な回答が優先されている気がする。

深いチェリーピッキングも大好きだよね。MLやAIが素晴らしく機能した一回の事例を見つけて、それを大声で褒め称えるために頑張る。失敗した他の何十回のことは無視してさ…。