ハクソク

世界を動かす技術を、日本語で。

偽の著者による2つの研究論文を指摘したところ、どちらも口頭発表として受理されました。

2026年7月31日原文(geospatialml.com)

概要

  • 2024年夏、NeurIPS、WACV、TerraBytesで22本の論文査読を実施
  • 約68%がAI生成や虚偽引用・著者捏造などの問題を含む
  • LLMによる論文・査読の質低下と検出困難化が深刻化
  • 査読者・著者双方の作業効率やモチベーション低下
  • LLM活用の是非と、正しい使い方の重要性を議論

AI論文査読現場の現状と課題

  • 2024年夏、 NeurIPS、 WACV、 TerraBytes で計22本の論文査読を担当
  • そのうち 15本（68%） が「完全な虚偽引用」「既存論文への著者捏造」「明らかなLLM生成文」等の問題を含む
  • 査読現場ではこのようなAI生成物を「slop trenches」と呼称
  • 時間の無駄・モチベーション低下の原因
  • LLMによる科学論文・査読の現状に関する文献調査を実施
  • 独自開発の bib-audit ツールを公開し、引用監査の効率化を図る

査読割り当て別の問題論文割合

  • NeurIPS（Datasets and Benchmarks）：5本中2本
  • NeurIPS（Position Paper）：2本中2本
  • TerraBytes（ECCV workshop）：計7本中5本
  • WACV：8本中6本
  • 合計：Caleb 11本中6本（55%）、Isaac 11本中9本（82%）

業界全体の状況

  • Nature 分析：2025年に「おそらく」無効なAI引用を含む論文が数万本規模
  • Zhao et al. ：2025年だけで約146,900件の幻覚引用を arXiv等で検出
  • 査読段階で検出されず、出版まで残るケースが85.3%
  • Lancet 調査：2023年は2,828本に1本、2025年は458本に1本、2026年初頭は277本に1本が捏造引用
  • Ansari ：NeurIPS 2025採択論文の1%が幻覚引用を含む
  • 査読側にもAI利用が拡大し、ICLR 2026では21%の査読が完全AI生成
  • ICML 2026では「LLM利用禁止」ポリシー下でも1%がLLM利用を検出

LLM査読の脆弱性

  • Li et al. ：敵対的に書き換えた要約でAI査読の評価を38%の確率で向上
  • Gemini 3 Flash査読者で+1.31、GPT 5.4 Miniで+0.88ポイントの評価増加

査読者の体験と苦悩

  • 査読は 無償労働 であり、AI生成物への対応は時間の浪費
  • 虚偽引用や捏造著者が明らかになった時点で強いフラストレーション
  • 「著者が自分の論文や引用を読んでいないなら、なぜ我々が読む必要があるのか」という疑問
  • 査読の質や意義が揺らぐ状況

個別体験

  • Caleb：11本中5本が幻覚著者・論文、53ページにわたる幻覚用語満載論文も
  • Isaac：11本中9本が問題あり、知人著者の論文に偽名著者を割り当てた事例も

どちらが悪質か？（幻覚著者 vs 完全な幻覚引用）

  • 両者とも「著者が引用元を確認していない」証拠であり、論文全体の信頼性を損なう
  • 査読者としては、どちらも受け入れがたい

LLM生成文の見抜き方

  • Calebの「LLM生成文」判別ポイント
    1. 「It’s not X, it’s Y」など典型的なLLMフレーズ
    2. 不自然に複雑な文
    3. 結果を過度に誇張する表現
  • Isaacのポイント
    1. 本文と表・データの数値不一致
    2. 数値や詳細を過剰に本文に盛り込む傾向
    3. 議論パートで表の内容をそのまま繰り返す

査読ワークフローの変化

  • Caleb：要旨後すぐに参考文献リストをチェック、bib-audit活用
  • Isaac：LLM痕跡の検出作業が増加、ほとんどの論文を「悪意ある投稿」とみなす傾向
  • 有意義な人間執筆論文の割合が減少

査読時間の使い道と持続可能性

  • Caleb：明らかなLLM生成でなければ科学的内容の評価に集中
  • Isaac：論文が面白いか、完全なB.S.かを優先的に判断
  • 査読義務の増加により、負担感・徒労感の増大

LLM活用の是非と著者の責任

  • Caleb・Isaacともに日常的にClaude等LLMを活用
  • 重要なのは 「出力を鵜呑みにせず、必ず自分で検証・編集すること」
  • 参考文献は bib-audit やGoogle Scholar等で一件ずつ手動確認
  • Zotero 等の管理ツールで信頼できる引用リストを構築
  • 他者からの早期フィードバックや、ドラフト段階での大幅改稿も重要

結論

  • LLMの活用自体は否定せず、 正しい使い方と責任ある運用 が不可欠
  • 幻覚引用やAI生成文を含む論文は 即時desk reject が妥当
  • 科学的コミュニケーションの質維持には、著者・査読者双方の意識改革とツール活用が必須

Hackerたちの意見

現在のAI研究の分野では、

  • 論文はAIによって書かれている（この記事でも指摘されているし、最近のAI研究をちょっと読めば誰でも分かること）
  • 論文はAIによってレビューされている（NeurIPSではAIを使ったレビュー実験をやってるし、これからはAIレビュアーが増えていく流れになっていくと思う）
  • 論文はAIによって読まれ、要約され、消化されている。主要なAIカンファレンスでは論文が多すぎて、全てを目を通す時間がないからね。 私たちは急速に人間を学術出版のループから自動化している状況だよ。
└

AIが運営するジャーナルを作って、他のAIに読ませるようにすればいいんじゃない？ そしたら、AIが運営する大学が、最も多くのAIジャーナルのエントリーや引用を持つAIをプロモートできるし。

└

誰かがAIにうまく書かせる魔法のソースを見つけたわけじゃない限り、これらの論文を読み解こうとしている人には大きな同情を感じる。私も時々雑なものを生成するけど、なるべくそれを他人に見せないようにしてる。

└

俺は、人間を出版のループから自動化してるってより、クソみたいなものの生産を急速に自動化してる気がする。最近EMNLPのレビューをしたとき、すごく似たような体験をしたよ。AIが研究の質を判断できるレベルには全然達してないし、実際、多くの人間でも研究の質を本当に判断できる人は少ないと思う。社会の多くのことは数学とは違って、ノイズが信号を圧倒する中で自動化（検証）で逃げることはできないんだ。人々は、信頼できる正直なレビューという公共資源を完全に悪用することを厭わないよ。（これは驚くことじゃないけどね；公共資源の悪用は長い間増えてきたから。）レビューシステムへのアクセスを制限するためには、厳しい社会的スコアリングに似た何か以外に良い解決策はないと思う。

└

「私たちは急速に人間を学術出版のループから自動化している。私たちはそれを無意味にしている。これが学界の常態なら、資金を削減しようとしている人たちに同情するよ。」

└

また昔の男社会に戻るんだろうな。研究グループや機関の間の人間関係がもっと重要になるだろうね。

└

「理由の砂漠」っていうアイデアをずっと考えてるんだけど、食べ物の砂漠みたいな感じだね。経済的な計算の結果、実際に人間の健康や幸福に必要な要素が欠けた、ただの模造品が提供される場所のこと。

└

効率について繰り返し考えようとしてるんだけど（中立的な観察として言ってるよ）。これがうまくいくかはわからない。よくあることだけど、現実の結果に結びつかない科学（「この飛行機、今はもっと速く飛べるの？」みたいな）には、もっと危険が迫ってる。

└

フラグが立った論文も受け入れられてるってことに気づくのが大事だよ。研究者の周りにいる人なら、ほとんどの人がAIに夢中だってことは知ってるはず。だから、彼らはそれを罰したくないし、自分たちも使ってるからね。少なくとも、自分たちが利用できるうちは、過度に罰せられる環境は作りたくないんだ。真剣に文句を言ってる人は少数だけど、私の経験では大多数の意見は「心配せずに、それを愛することを学べ」って感じ。これが厳しい現実を浮き彫りにするんだよね：最初から科学に興味を持ってる人なんてほとんどいない。

└

そもそも、ほとんどのものはあんまり良くレビューされてなかったよ。実際にプロセスに真摯に関わっていたのは、いつも限られた少数の人たちだった。そういう人たちは今でも続けているけど、割合としてはずっと少数派だった。今はさらに少数派になっちゃったね。

└

我々は学術出版のループから人間を急速に自動化している。これは、AI以前から腐っていた現在の学術出版システムの崩壊に見えるし、その内部矛盾がAIによって加速されて崩壊の域に達しているんだ。

これは、学術界が論文やジャーナルのオープンアクセスを真剣に考えてこなかった副作用だと思う。もしこれらの論文がジャーナルによって制限されていなければ、引用された論文や引用の存在を確認するのは簡単だったはず。

Hacker Newsで議論の続きを見る