ハクソク

世界を動かす技術を、日本語で。

MITがAIと科学的発見に関する論文のプレプリントの撤回をarXivに要請

2025年5月17日原文(economics.mit.edu)

概要

  • MITはAIと科学発見に関するプレプリント論文の研究不正を指摘
  • 内部調査の結果、arXivとThe Quarterly Journal of Economicsに撤回要請を提出
  • データの信頼性と研究の真実性に重大な懸念を表明
  • 著者は既にMITを離籍しており、撤回手続きが進行中
  • MITは研究の透明性と誠実性の維持を最優先事項と強調

MITによるAI関連論文撤回要請の経緯と声明

撤回要請の背景

  • 2024年11月、arXivにプレプリント論文「Artificial Intelligence, Scientific Discovery, and Product Innovation」が投稿されることを確認
  • 論文の研究誠実性に関して、外部から深刻な懸念が提起されることを認識
  • MIT内で機密性を保った内部調査を実施すること
  • 調査結果を受け、arXivおよびThe Quarterly Journal of Economicsに対し論文の撤回を正式に要請すること
  • MITのCommittee on Discipline（COD）からarXivへの書簡で、データの出所・信頼性・妥当性や研究内容の真実性に自信がない旨を明言すること

arXivと著者への対応

  • arXivの規定により、著者本人のみが撤回申請できることを確認
  • MITは著者に撤回申請を指示したが、著者は未対応であること
  • 研究記録の明確化のため、MITがarXivに対し論文の速やかな撤回処理を要請すること
  • プレプリントは査読前の公開物であるため、研究不正の影響緩和措置として対応を急ぐこと

MITの研究誠実性に関する立場

  • 研究誠実性はMITの活動の根幹であり、最重要事項であることを強調
  • 問題発生時には、MITの方針・機密性を保ったプロセスに従い調査を実施すること
  • 研究誠実性に関するMITの方針・手続きはオンラインで公開されていること

関与教授のコメントと論文の影響

  • 論文の脚注で謝辞が記載されているDaron Acemoglu教授とDavid Autor教授が共同声明を発表すること
  • 当該論文は未査読だが、AIと科学に関する議論で既に広く参照されていることを確認
  • 両教授は、研究の信頼性・妥当性・真実性に疑念を持ち、MITの適切な部署へ報告したこと
  • 調査結果の詳細は学生のプライバシー保護とMITの方針により非公開であること
  • 論文の学術的・社会的議論への影響を懸念し、現時点で論文の主張を引用・参照しないよう呼びかけること

今後の対応と提案

  • 研究記録の正確性を確保することはMITの責務であると再度表明
  • 関係者・研究者に対し、当該論文の内容や結論を今後の議論や研究に用いないよう注意喚起すること
  • 研究不正の防止と透明性確保に向けた継続的な取り組みを推進すること

Hackerたちの意見

その論文、数ヶ月前にHNスレッドがあったよね。https://news.ycombinator.com/item?id=42115310

└

誰かがすでに怪しいって気づいてくれてよかったね。https://news.ycombinator.com/item?id=42128532

└

ありがとう！マクロ拡張: 人工知能、科学的発見、製品革新 [pdf] - https://news.ycombinator.com/item?id=42115310 - 2024年11月（47コメント）

初印象: 1. ほとんどのプロットのデータ（付録参照）が偽物っぽい。実際のデータはそんなにきれいじゃないよ。2. 2022年5月、chatGPTがgenAIを注目させる6ヶ月前に、どうやって2年目のPhD学生が大手材料研究所に1,000人以上の社員で実験をやらせることができたの？どんなモデルを使ったの？GANs+拡散ってだけしか書いてない。技術的な詳細は、これらの概念が何かの高レベルな一般的説明ばかりで、具体的なことは何もない。「短いパイロットプログラムの後、研究所は2022年5月にモデルの大規模な展開を始めた。」大企業で働いたことがある人ならわかるけど、こんなのありえないよ。

└

ほとんどのプロットのデータ（付録参照）が偽物っぽい ここでベンフォードの法則分析が適用できるかな？

└

ポイント2について、説明されている通りに研究が実施不可能だというのは、マイケル・ラコールにとっても問題だったみたい。あまり評価されていない詐欺検出のヒューリスティックのようだね。https://en.wikipedia.org/wiki/When_Contact_Changes_Minds https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&d... > 私たちが自分たちの研究を計画する際にその研究のデータを調べたところ、2つの特徴に驚かされた。投票者の調査回答は、他のパネル調査データで観察されたものよりもはるかに高い再テスト信頼性を示し、パネル調査の回答率と再インタビュー率は予想以上に高かった。> その会社は、ラコールとグリーン（2014）で説明されている採用手続きの多くを実行する能力がないと否定した。

└

科学者が異なるタスクに費やす時間の月ごとの記録は、表面的には馬鹿げてる。提案された方法論、科学者の記録を自動的にテキスト分析して、AI導入前のほぼ一定の時間配分を1年分も得るなんて、全く信じられない。そんなデータの質は想像を絶するほど高くなければならない。

└

% gunzip -c arXiv-2412.17866v1.tar.gz | tar xOf - main.tex | grep '\bI have\b' 要約すると、私は3つの事実を確立しました。まず、AIは材料発見の平均率を大幅に増加させます。次に、それは初期の生産性が高い研究者に不均等に利益をもたらします。最後に、この異質性はほぼ完全に判断の違いによって引き起こされます。これらの結果の背後にあるメカニズムを理解するために、科学における人間とAIの協力のダイナミクスを調査します。 \item 私が使った他の方法と比較して、AIツールは望ましい特性を持つ可能性のある材料を生成します。 \item AIツールは、私が使った他の方法よりも物理的構造がより明確な潜在的な材料を生成します。 % gunzip -c arXiv-2412.17866v1.tar.gz | tar xOf - main.tex | grep '\b I \b' | wc 25 1858 12791 %

└

参考までに、トークの後のQ&Aで、彼はそれがGANではなくGNN（グラフニューラルネットワーク）だと主張しているよ。（このQ&Aでは、観客は研究の妥当性についてあまり疑問を持っていないみたい。） https://doi.org/10.52843/cassyni.n74lq7

└

彼はこの研究を行う前に、「MITの人間を実験対象として使用する委員会からID E-5842のIRB承認を得た」とも主張しているんだ。つまり、彼がまだ博士課程の学生でもなかった時期にね。

└

ポイント1には少なくとも表面的には同意するけど、ポイント2については、MITやスタンフォードのような大きな機関と密接な関係を持つ企業が、最先端の研究実験を展開することに興味を持っていることが多いよ。特に、すでに研究室やPIとのつながりがある場合はね。

└

もし論文が高ボリュームの分野で再現が難しいなら…再現されることはあるのかな？私たちが問うべき質問は、その分野にどれだけの詐欺的な論文があるかってことだね。実際、MLの研究者たちが何年も数字をでっち上げていた場所で働いたこともあるよ。

Hacker Newsで議論の続きを見る