私のプラズマ物理学研究におけるAIは、思っていた通りにはいかなかった

2025年5月20日原文(understandingai.org)

概要

Nick McGreivyはAIが物理学研究を加速させると期待していたが、実際の応用では失望を経験したことを報告。
AIによる科学革命の可能性は過大評価されており、現実には成果が限定的であることを指摘。
PINNや深層学習を用いたPDE（偏微分方程式）解法の実験で、多くの論文が不公平な比較や再現性の問題を抱えていることを明らかに。
AIの科学研究への採用が急増している一方で、否定的な結果がほとんど公開されていない現状を問題視。
AIは今後も科学の「革命的」な道具ではなく、「段階的」な進歩のツールにとどまる可能性が高いと結論。

AIによる物理学研究加速の限界と現実

研究動機とAIへの期待

Nick McGreivyは Princeton大学 でプラズマ物理学を専攻し、 AI技術で物理学研究を加速 できると考え研究テーマを変更することを決断。
高給や インパクトの大きさ も動機となり、AIによるPDE（偏微分方程式）解法の研究に着手することを選択。

PINN（Physics-Informed Neural Network）の実践と限界

PINN はPDEをニューラルネットワークで解く新しい手法として注目され、多くの論文で高評価されていたことを確認。
実際にPINNを使い 簡単なPDE に適用したところ、 期待外れの脆弱性 や 再現性の低さ に直面することを経験。
PINNの代表的論文も「 特定設定で良い結果が出ても他で失敗する」ことを認識していたが、失敗例はほとんど公開されていなかったことを確認。
PINNの 信頼性の低さ や チューニングの難しさ から、主な研究手法としては不適切と判断することを決定。

AI研究におけるバイアスと再現性問題

AI研究では 否定的結果がほとんど公開されない ため、 生存者バイアス が発生しやすいことを認識。
高インパクト論文 ほど楽観的な結果を強調しがちで、研究者のキャリアや資金調達のためにポジティブな結果が優先される傾向を指摘。
PrincetonのArvind NarayananやSayash Kapoorらによる「 データリーク」調査でも、 再現性危機 が科学分野で広がっていることが判明。

PDE解法におけるAIと従来手法の比較

AIによるPDE解法について、多くの論文が「 標準的な数値解法よりも高速」と主張しているが、実際は 比較対象が弱いベースライン である場合が大半であることを確認。
強力な数値解法 と公平に比較した場合、AIの優位性はほとんど消失することを実証。
自身と指導教員で 流体力学分野のAIによるPDE解法論文を系統的にレビュー し、約8割の論文が不適切なベースライン比較を行っていたことを明らかに。

AIの科学研究への導入動機と今後の展望

科学者がAIを導入する主な理由は「 科学への貢献」よりも「 自身のキャリアや利得」である傾向を強調。
AIは今後も「 革命的な変革」ではなく、「 段階的・不均一な進歩のツール」として利用される可能性が高いと結論。
AIの科学的ポテンシャル に過度な期待を持つべきではなく、冷静な評価と慎重な導入を推奨。

まとめ

AIを科学研究に導入する際は、 公平な比較 や 否定的結果の共有、 再現性の確保 が不可欠であることを再認識すること。
AIは 万能な解決策 ではなく、 一つのツール として位置付け、過度な期待を避けることが重要であると提案。

Hackerたちの意見

私は全然AI推進派じゃないけど、ネガティブな結果が公表されないことや、みんなが研究論文で自分の成果を過剰にアピールしてるのは、残念ながらAIに限った話じゃないよね。これは科学者が評価される方法や、科学出版業界の問題の結果で、基本的には伝統的なメディアが抱えるのと同じ問題（視聴者を求める）に苦しんでる。まあ、冬が来るね、そうだよね？

└

でもAIのおかげで、説得力のある論文を書くのが楽になったよね。

└

確かにそうだね。でもAIの論文では、「…もし無限のGPUを投入して永遠に動かしたら、{magic_benchmark}が得られる」とか、「私たちが要求に応じて利用可能だと主張する超秘密の実データセットでこの非常に賢いアルゴリズムを評価したら、私たちがどれだけ賢いかを示すチャートが見られる」といったコメントがよく見られるよね。確かに、これはしばしばフラグを立てる行為だけど、こういう論文が大企業から出てくると、明らかな欠陥や問題があっても「無視して進む」ことはできない。リソースを巡る競争だから、低予算の大学の（元）研究者としては、競争できない。文献で「ベンチマーク」として渡される数字を信じるしかない状況で、再現性の可能性もない。

└

AIは現在のハイプの磁石に過ぎないから、亀裂がより明確に見えるんだ。

└

私は15年以上前にAIの実用的な応用について初めて論文を発表して、その後別の分野に移った。最近また引き戻されてきた。これは科学全体の問題だと思うけど、AIは名声や富を求める研究者を引き寄せる傾向が強いように見える。誇張された主張やデータの選別は、私の限られた経験の中でもさらに極端に感じられるし、責任ある研究者でさえ競争するために少し誇張してしまうことがある。

これは主に学術界の問題の繰り返しだと思う - もはや真実を追求するのではなく、引用数やキャリア主義に焦点を当ててる。AIはその現象が起きているもう一つのトピックに過ぎない。

└

一般化したくはないけど、このパターンがどれだけ広がっているのかはわからない。でも、私の仕事はドイツのいくつかのHPCセンターを行き来することなんだけど、気づいたパターンは、これらの場所には多くの拒絶された物理学者がいて、配分されるAI資金の多くが彼らに吸い取られて、結果として多くのML4Scienceプロジェクトが生まれていることだ。個人的にはちょっと残念だと思う。HPCセンターは物理学者だけのために存在するわけじゃないし、特にAI資金がある今、ドイツではもっとAIコアの研究をすべきだと思う。

└

「no longer」がここで何を意味するのか全然わからない。

└

公平に言うと、キャリア主義の問題は、学界が民間セクターに夢中になって、その問題を引き継いでしまった副作用なんだよね。ソフトウェア開発者として働いて学んだことの一つは、すべての決定がキャリア主義的で自己中心的な視点からなされるってこと。誰も最善のことを気にしない、彼らが気にするのは最も印象的で、自分を前に進めることだけ。終わったら、それは彼らの問題じゃないし、誰も彼らを責められない。この考え方は非常に広まっていて、それに賛同しないと、バカにされる。だって他の人はそうするし、彼らはただあなたを追い越すだけだから。結果は同じだけど、今はあなたの方が悪化してる。

面白い記事だね。新しいホットな技術が実際の価値以上に注目を集めるリスクは常にある。私にとってこの記事のキーワードは「ほとんどの科学者は誰かを誤解させようとしているわけではないが、有利な結果を示す強いインセンティブに直面しているため、誤解を招くリスクは依然としてある」という部分だね。人々のインセンティブを理解することは、彼らの言っていることを見るときに非常に役立つことが多い。

└

AIという言葉を使うことで大金を稼げることに気づいた人たちもいる。でも結局、どんなソフトウェアにも何らかの機械学習が組み込まれてるよ。新しいことでもないし、現在の実装が特に素晴らしいわけでも正確なわけでもない。

記事は最初、科学におけるすべてのAI（少なくとも著者の分野）は誇大広告だと示唆しているように見える。でも、彼らの不満は、過剰に宣伝されているように見えるPINNというアーキテクチャに特有のようで、最後には他のDLモデルを使って従来の数値的方法よりもPDEを速く計算することに成功していると述べている。

Hacker Newsで議論の続きを見る

ハクソク