ハクソク

世界を動かす技術を、日本語で。

arXivにおけるAIライティングの測定方法とその限界

2026年7月21日原文(unslop.run)

概要

  • 12,750本のarXiv論文を分析し、約3分の1が機械生成と判定
  • ChatGPT登場以降、機械生成と判定される論文が急増
  • 検出器の誤検出率は0.4%に調整し、信頼性を確保
  • 分野による差が大きく、数学分野は特に低い値
  • 検出器の限界や注意点も明確に説明

arXiv論文における機械生成テキストの割合調査

  • 12,750本の arXiv論文 を対象とした大規模調査
  • 2021〜2022年 の論文を人間執筆の基準（コントロール）として利用
  • ChatGPT登場以降、機械生成と判定される論文の割合が急増
  • 検出器 は学術論文向けに調整され、 誤検出率0.4% に設定
  • 各論文の 本文全体 をスコア化、要旨のみでは信号が弱いことを確認
  • 結果は ブートストラップ95%信頼区間 付きで報告

分野別の機械生成判定率

  • コンピューターサイエンス ：65.0%（2026年最新値）
  • 定量生物学 ：56.3%
  • 電気工学・システム ：51.3%
  • 経済学・金融 ：47.0%
  • 応用物理学 ：34.0%
  • 統計学 ：31.3%
  • 凝縮系物理 ：24.0%
  • 高エネルギー物理 ：14.0%
  • 天体物理学 ：10.7%
  • 数学 ：0.7%
    • 数学分野は特に低いが、検出器の感度の問題も指摘

調査方法と設計

  • 2023年1月〜2026年7月 の各分野から月25本程度をサンプリング
  • 2021〜2022年 の8ヶ月をコントロール期間として設定
  • PDFバージョン1 のみを使用し、後の修正版による影響を排除
  • 検出器の閾値 は、コントロール期間で0.4%がフラグされるように設定

検出器・調査の限界

  • コントロールサンプルの少なさ ：各分野200本、全体で2,000本
  • 分野ごとの誤検出率 は粗い推定に留まる
  • 数学分野 ：記号や証明構造が多く、検出器の訓練分布外となりやすい
    • 低スコアは 低いAI利用 か 検出器の盲点 のどちらかであり、判別困難
  • 検出器のカバレッジ ：生成AIモデルの種類やプロンプトにより感度が異なる
    • 実際のAI利用率は 計測値以上 である可能性が高い
  • 検出結果は著者の特定や断定ではない
    • 機械的な特徴を持つ文章の割合を示すのみ
    • 軽度のAI支援編集も含まれる

検出器の利用案内

  • 誰でも無料 でarXiv論文や自身のテキストに対して検出器を試用可能
  • 営利目的なし、簡単に利用できる検出ツールとして提供

Hackerたちの意見

2021年から2026年までの12,750本のarXiv論文の全文を調べて、どれくらいの割合が機械生成としてフラグが立てられるか、またchatGPTのリリース以降どれだけ増えたかを調査したよ。偽陽性を避けるために、検出器を意図的に調整したから、chatGPT以前の検出率は約0.4%だった。最も大きな結果は、2026年1月には約39%の論文がAI生成とフラグが立てられたこと。特にコンピュータサイエンスではピークが65%だった。数学はほとんど0.7%から動かなかったけど、証明が多い数学のテキストは検出器にうまく拾われないかもしれない。このすべては、統計的信号の検出器の推定であって、特定の著者がAIを使った証明ではないからね。機械生成というのは、重度のAI支援編集を含むこともある。

└

この研究に感謝します。

└

これはかなり驚くべき結果だね。時系列のグラフも本当に説得力がある。検出器自体のトレーニング方法はこれと無関係なの？それとも、pre-chatGPTのテキストが（ポジティブな）トレーニングデータに含まれていることで「漏れ」があるのかな？

└

これ面白いね！モデルはどこかでローカル実行できるの？それとも、あなたの結果を含むarXivのプレプリントコードのルックアップテーブルでもいいんだけど。たくさんのプレプリントで試したいから、あなたのサーバーを壊したくないんだ。

└

どの検出器を使ってるの？商業用のAI検出器は全部否定されてるのに、その精度をどうやって確信できるの？

└

2020年以前の論文もスキャンするようにしたらどう？それで検出システムの基準精度がもっと良くなると思うよ。

└

事前のLLMの誤検知の例を共有してもらえますか？何が検出を引っかけているのか見てみたいです。事前にLLMのように書く著者が少しでもいたのかな？

└

シグナルとして、私がAI生成したもの（主に美的な部分で人間の指導を受けて、少しだけ人間が編集したもの）を入れたら、5%だけだったよ。

＞もしツールが新しい論文の40%を機械生成とマークする一方で、ChatGPTが存在する前の論文の20%もマークするなら、本当の話は誰も言及しないその20%だね。読んでいる論文の65%がAI生成の特徴を持っているなら、AIを使って書くかどうかに関わらず、あなたの書き方はAIスタイルに影響されるよね。特にまだ自分の書き方を発展させている新人研究者には、そういうことが多いと思う。

└

何か見落としてるかもしれないけど、その20%の本当の話は何なの？私には、1. あなたのツールが思っていたほど良くて信頼できるものではない、2. AIは人間が書いた記事を学習しているから、その人間が書いたコンテンツが今の「AIの雑文」に影響を与えたってことに聞こえる。AIが登場する前から「雑文」を出していた人もいるし。

└

たとえ自分の書き方が「AIスタイル」に影響されていても、それは部分的にしか現れないと思う。単語や修辞的な表現が出てくるかもしれないけど、AIが生成したテキストは部分的に「AIっぽい」わけじゃなくて、全体を通して一貫してそうなるんだ。人がAIの書き方の文法パターンを長期間にわたって維持するのは非常に難しいよ。正確にそれが何かを知っている必要があるからね。おそらく、今の誰もが持っている以上の知識が必要だし、各節に対して絵画を描くようなレベルの詳細を適用する必要がある。さらに、「AIスタイル」は時間とともに変わってきたという事実もある。例えば、「delve」という言葉は「AIのサイン」として悪名高かったけど、2024年の中頃には急激に減少して、今ではほとんどLLMの出力から消えてしまった。だから、誰かがどこでも見かけるからといってそれを使うと、彼らの書き方は今やAIらしくなくなっているんだ。

テキストだけのAI検出スキーム全般に言えることだけど、検出の精度が心配だよ。特に、3つの検出器スコアを最終的に結合する方法に懐疑的なんだ。その最終ステップがバイアスを導入しないとどうやって確信できるの？ソースがないから、これがどう機能するのか、または研究を再現するのが難しい。自分の（未発表の）研究からのテキストサンプルもアップロードしたけど、LLM検出スコアがかなり高く出てるみたい。他の論文では、ほぼすべての文が赤の「機械学習」としてハイライトされてるけど、それがスコアに影響しないのはどういうこと？さらに、LaTeXフォーマットの有無で同じテキストのスコアに劇的な違いがあるけど、それは関係ないはずなのに。これからの教訓は「生成されたテキストを検出するのは難しく、仮説を確認するからと言って結果をそのまま受け入れるのは注意が必要」ってことだね。-- 関連して、上のテキストは非常に機械生成とスコアが出てるけど、私は自分の手で書いたことを約束するよ :)

Hacker Newsで議論の続きを見る