世界を動かす技術を、日本語で。

論文の受理を得るために

概要

  • 2019年に論文が一度リジェクトされたが、 小規模な修正 で再提出し劇的にスコアが上昇し採択。
  • ページ1 の完成度が論文の評価の約80%を占めるため、最初の印象を最適化することが重要。
  • タイトル・図・アブストラクト・イントロを 具体的・記憶に残る・明確 に仕上げることが鍵。
  • 本文ではリジェクト理由を潰すために ベースライン・アブレーション・統計的有意性 ・人間評価を追加。
  • これらの工夫は論文の科学的貢献自体も 実質的に向上 させる。

劇的なスコア向上を実現した論文修正術

ページ1の最適化:受理のための第一歩

  • 論文の 最初のページ (タイトル、Figure 1、アブストラクト、イントロ)が評価の8割を決定することを理解すること
  • 各要素を 具体的・記憶に残る・明確 にし、価値を明示し、読者を引き込むこと
  • タイトル は一般的すぎず、独自性やドメインを示す具体的なものにすること
    • 例:「Visually Grounded Comparative Language Generation」(却下)→「Neural Naturalist: Generating Fine-grained Image Comparisons」(採択)
  • ブランド名 (プロパー名)の導入は記憶定着や議論のしやすさを高めるため有効だが、内容と結びつくものに限定すること
  • Figure 1 は、価値・独自性・内容が一目で分かるようにデザインし、説明不要な明快さを重視すること
  • キャプション は単なる説明でなく「Takeaway(要点)」で締め、読者に考えてほしいポイントを明示すること

アブストラクトとイントロ:具体性とフックを重視

  • アブストラクトは 具体的な貢献・内容・結果 を明記し、読者を引き込むフックを入れること
  • 一般論から入ると退屈・過大主張に見えるため、 最初から自分の研究の価値や新規性 にフォーカスすること
  • イントロは 問題提起→緊張感→解決策提示 のサイクルを意識し、冒頭で読者の興味・関心を引きつけること
    • 緊張感ある言葉(「しかし」「難しい」「課題」など)を使い、解決の価値を強調すること

本文の工夫:リジェクト理由を潰す

  • ページ1で「受理したい」と思わせた後は、 リジェクト理由を全て事前につぶす こと
    • 既存手法との比較(ベースライン追加)
    • アブレーション(要素ごとの貢献分析)
    • 統計的有意性や人間による評価
    • 図表・結論の明確化
  • 図や表は 情報密度と美しさ を両立し、複雑なアイデアも直感的に伝わるよう工夫すること
  • 必要に応じて 独自のタクソノミー (分類体系)を導入し、読者の理解を助けること

まとめ:科学的貢献も向上

  • これらの修正は単なる見せかけでなく、 実際に論文の科学的価値や読みやすさ も向上させること
  • 読者(特に査読者)は楽しく・分かりやすい論文を好むため、 エンタメ性や明快さ も意識すること
  • 最終的には「なぜこの論文が価値あるのか」を 一目で伝えること が最重要提案

参考:ページ1のチェックリスト例

  • タイトルは 独自性・具体性 があるか確認
  • Figure 1は 直感的・価値が明示 されているか確認
  • アブストラクトは 具体的・興味を引く 内容か確認
  • イントロは 問題提起・緊張感・解決策 が明確か確認

参考文献・ダウンロード

  • リジェクト版・採択版の全文は ダウンロード可能 (原文参照)
  • Larry McEnerneyの Effective Writing 講義は執筆思考の参考として推奨

このように、 ページ1の最適化リジェクト理由の事前排除 が、論文採択への最短ルートであることを提案。

Hackerたちの意見

元の著者ではないけど、これは私が今までの博士課程で論文を提出する際の経験を反映しているので投稿しました。論文や文章の微調整は、初稿を書くときや研究アイデアの構想、実施や実験の進め方においてもよくあります。私たちの研究室では、論文が拒否される回数が多いほど、受理されたときには大きく評価されるという半分冗談のようなことがあります。これは、レビューアーが特定のアイデアやトピックに価値を見出すのが難しいことを示唆しています。「新規性」がない限り、あるいは論文が彼らに向けて書かれていない限り、「ただのエンジニアリングの努力」と見なされがちです(これは私の偏った経験です)。しかし、特定のアイデアや論文を、その仕事を評価する場に合わせて調整して提出するのが、私が見つけたこの問題を回避する最良の方法です(とはいえ、どの会議がどのスタイルの仕事を評価するかを理解するには時間がかかりますが)。著者が「科学的なことが改善された」と書いている部分には、ある程度の救いがあると思います。論文の変更が論文をより良く、読みやすくすることを示唆しています。これには非常に同意します。多くの場合、人々は悪い図や不十分な表、チャート、キャプションなどを持っていて、理解を難しくしたり、誤解を招いたりします。しかし、私は著者に対してある程度までしか同意しません。むしろ、レビューアーや発表の場の側でも、高品質なレビューや評価を提供するための変更が必要だと思います。ただ、これは著者が投稿で話している範囲を少し超えていると思います。

この著者のシリーズには他にも投稿があるよ。彼はBERTの共著者なんだ!でも、彼の論文は「ただのエンジニアリング」とバカにされたんだよね。彼は自分が何を話してるか分かってる。

友達と面白いジョークを言ってるんだ。「もし君の論文が一度も却下されないなら、君はどんな科学をやってるんだ?」プロジェクトに時間をかけすぎたか、目標が低すぎるかのどっちかだよ。

これには問題があります。昔は、人々は研究のために研究をしていて、主にヨーロッパからは私たちが見た中で最も偉大な科学的業績が生まれました。私はアメリカで博士号を取得しましたが、「出版ゲーム」や「助成金」に焦点を当てることが研究の本質になってしまったのは非常に残念です。批判される前に言っておくと、私はトップ10の大学でこのプロセスの一部でしたし、誇り高いアメリカ人です。この誇りのために、厳しい愛を示さなければなりませんでした。ポスドクなしでアカデミアから離れることを選んだのは、嫌だったからです。私は研究をして、自分の分野を前進させる仕事に貢献したかったのです。私が出会った人々のほとんど(90%)は、自己中心的な理由(アメリカ市場への参入、給料のアップ、分野の変更、R&Dの仕事へのアクセスなど)のために博士号を取得したいだけでした。私はナイーブかもしれませんが、もっと多くの人が研究のために研究をしてほしいと思っています。唯一のクレイ賞は、アカデミアを嫌っていたロシア人に授与されました。科学における不死の存在は、会議論文を量産する人々ではなく、ラプラスやアインシュタインのように種をまく人々であるという事実には何か真実があるかもしれません。私はそういう人々をもっと見たいです。なぜなら、これが分野を前進させるからです。一つのユースケースのためにニューラルネットワークを改善するために指標を操作することではなく、他のすべてのケースで失敗することを知りながら(そしてそれを共有せずに)行うことです。これが私の研究に対する二つ目の不満です。何かを試してもうまくいかないと、それは共有されません。誰かが試して失敗し、その蓄積が全体的にみんなを遅らせるのです。失敗した試行や答えがわからないことをもっと受け入れられるようになればいいのにと思います(理論なしで結果を共有するのは大丈夫です。他の誰かがあなたの結果を使ってそれを考え出すのも大丈夫です)。多くの年を博士課程で過ごした私としては、残念ながら大多数の人々が私の見解を共有していないことを確認できます。そして、私は苦々しい印象を与えたくないと思っていますが、正直言ってそれは私を悲しくさせます。

もっと寛容な見方をすれば、これは自分の文章を明確にし、ポイントを伝えるための基本的な提案に過ぎないと思います。自分が書いたものを、テーマに不慣れな人(つまり、レビューアー)の視点から見るのは難しいです。「出版を助ける」という形でフレーム化されていますが(ちょっと気持ち悪いですが)、結局は著者が明確で魅力的な方法でポイントを伝えるためのヒントについてだと思います。

科学はコミュニケーションでもあると思います。アインシュタインが一般相対性理論を理解するのは素晴らしいことですが、他の誰かに関心を持ってもらいたいなら、複雑なアイデアを明確に伝えるだけでなく、なぜ私がこの地球で大切な時間を使ってそれを理解しようとするべきなのかを伝える必要があります。それは、カッサンドラとデルフィの神託者の違いです。もしかしたら、二者の違いはプレゼンテーションだけだったのかもしれません?(古典学者の皆さん、私の比喩を批判しても構いません)。

「昔は、人々は研究のために研究をしていて、主にヨーロッパからは私たちが見た中で最も偉大な科学的作品が生まれた。」昔は、科学のキャリアは主に独立して裕福な人やパトロンを確保できる人に限られていたと思う。Hacker Newsが科学に対して求めているものとの間に緊張感がある気がする。スタッフの科学者のポジションが足りないとか、研究だけに専念するポスドクを超えてキャリアを築けるポジションがないことに対する嘆きがよく聞かれるよね。それらはお金が必要なんだ。ポスドクは高いし、スタッフ科学者も高いし、恐ろしいよ。彼らにはキャリアや子供、住宅ローンがあるからね。ポスドクは高い。それがPIsの時間をかなり食ってしまうんだ。提案の成功率は低いから、今はさらに悪化してる。オフィスに座って、自分の考えを巡らせて、時々その考えをまとめるだけで済むならいいけど、科学の中で人々が給料をもらいながらキャリアを築ける機会も与えたいと思ってる。

プロフェッショナルな科学は長い間、自分のキャリアを築くための社会的なゲームだったと思いますが、今やアカデミアを飲み込む何かに転化してしまったように感じます。シリーズの最初の記事から引用しますが、> インサイダーたちは…研究論文が…ますます重要な役割を果たすことを理解しています…通貨、広告、ブランドマーケティング…外部の人々が信じているのとは対照的に…世界に新しい発見を詳細に報告することです。これは絶対に真実だと思います。そして、うんざりです。残酷な軽蔑を除けば、TFAはかなり良いアドバイスのように見えます。[0] https://maxwellforbes.com/posts/your-paper-is-an-ad/

これはML研究に関する記事で、論文のブランディングやマーケティングに重点を置くことは、科学的だと考えられている分野では通用しないでしょう。図1の分子のグラフィックが3Dで明るい色を持っていることを確認してくださいと言っている人を想像できますか?最も不穏なのは、科学を忘れてプロセスを最適化するようにというアドバイスが、良いコミュニケーションのための標準的なヒントと混ざっていることです。コミュニティがその違いを見ていないほど、すでに行き詰まっていることを示しています。参考にしたい人は、典型的な問題のレベルではなく、アルゴリズムとデータ構造のジャーナルを見て、どのような生活が送られているかを確認してください。

これの二次的であまり目立たない結果は、多くの人が出版システムに嫌気がさして、そもそも学術界に入らないことだよね。それで、本来なら人類の知識に貢献できるはずの人たちが、どこかのオフィスでランダムな会社のためにウィジェットを売る手伝いをしている。

二番目のバージョンは、単に異なるレビューアーのセットが好みだっただけで、修正が大きな違いを生まなかった可能性も同じくらいあると思います。このような会議に多くの論文を提出してきた私としては、レビューアーの評価はノイズだと基本的に考えています。

助成金や論文に関して、経験上「運命が決まる」か「運命が決まらない」かの閾値を越えなきゃいけないけど、その閾値をクリアすれば、結構ランダムになるよ。

*ACLでは、レビューアを変更したい理由を正当化しなきゃいけないけど、そのためには良い理由が必要だよ。再提出のためのレビューア変更がレビューアの不在だけによるものがどれくらいあるのかはわからないけど、3人全員がレビューアプールから外れるのは考えにくいね。

ああ、なんてことだ…サーカスから猿が逃げ出して、内部で何が起こっているのかの真実を教えてくれています。> 「現代科学の主な対象は研究論文です。研究論文はコミュニケーションの行為です。実際に私たちのデータセットをダウンロードして使う人はほとんどいません。私たちのモデルをダウンロードして使う人もいません—それはGoogleの独自のスタックの中にロックされています。」著者は「科学は私に十分なお金と名声をもたらして快適な生活を送るための追求」という概念を混同しています—ここでは「科学」を「宗教」に置き換えて1300年代に戻ることができると言えます—観察、実験、数学的理論の実践としての科学であり、私たちが存在する素晴らしい宇宙の理解を深めることを目指しています。はい、アカデミックシステムはベイ・ドールによって grotesquely 腐敗していますし、限られたポストのための内部の血のスポーツ政治ですし、企業の腐敗と堕落した支配階級の重みで崩壊しています—でも、それがどうしたのですか、科学は気にしません。すべてが100年間休眠状態になっても構わないし、過去にもそうなったことがあります。125年前には、現代の科学的発展を把握するためにドイツ語を学ぶ必要がありました。目を覚ましてください—自然はアカデミックシステムを気にしませんし、科学は腐敗した神職に依存していません。P.S. 実際的に言えば、新しい大学院生は新しい生活のイントロとしてマキャヴェリを読むことが求められるべきです。

学者たちは「アイデア」に執着しているように見えるね。> それはペースの問題だけじゃなくて、何も学ばなかったと、少なくとも一つの新しいアイデアを得たということを分ける明確さの閾値があるんだ。でも今の時代、アイデアはかなり安いよね。私の経験では、ほとんどの研究者はそれに取り組む学生よりも多くのアイデアを持っている。多くの論文はその「コアアイデア」をツイート一つか二つに収められるし、場合によっては誰かがすでにそのアイデアを何らかの形でツイートしていることもある。アイデアには良いものとそうでないものがあるけど、「合理的な」アイデアはたくさんある。どれも論文になり得るけど、科学であるためには、単に明確に伝えられたというだけではダメなんだ。実験を行って(「アイデア」を正確に実施する)、結果を忠実に報告しないといけない。(レビュアーは追加の制約を加えるかもしれない:結果が「良く見える」必要がある。)じゃあ、科学とレビュアーの明確さやプレゼンテーションへの執着は何の関係があるのか?私の主張は:全く関係ない。合理的に聞こえて、明確に伝えられれば、ほぼ何でも言えるんだ(もちろん結果が良く見える限り)。過労の博士課程の学生が評価スクリプトを少し間違えて結果が有利になったとしても(おっと!)、アイデアが明確に提示されていればレビュアーは気づかないよ。明確なコミュニケーションは重要だけど、科学は単にアイデアを伝えるだけではない。

明確さは絶対に重要であるべきだし、重要なんだ。学者として、私は自分の分野で最新の情報を把握する必要があるから、何百ものタイトル、数十の要約や論文をざっと見て、毎週いくつかの論文をしっかり読む必要がある。しかも、他にもやるべきことがたくさんある仕事の中でね。無駄に不明瞭で、著者が何を意味しているのかを解読するためにあちこち飛び回らなきゃいけない論文は、私や他の多くの人の時間を無駄にしている(誤解を招くタイトルや要約のものも同様)。それらは絶対に必要な場合を除いて読まれないだろう。ピアレビューの段階で捕まえられる方がいい。明確さが欠けると、必要な詳細が曖昧にされてしまうことで再現性が欠けることもよくある。

アイデア対解決策に焦点を当てることが、個々の研究者をも分けるという理論があるんだ。学術界はアイデアを称賛し、報酬を与えることに同意する。たぶんそれはいいことで、そうあるべきなんだろうけど、解決策は産業でできる?でも、アイデアのSNRが今は高すぎる気がする。

でも今の時代、アイデアはかなり安い:私の経験では、ほとんどの研究者はそれに取り組む学生よりも多くのアイデアを持っている。「アイデア」と言うと、研究者は通常「自分が実行できる高インパクトプロジェクトのアイデア」を意味する。アイデアを持つだけではなく、自分の分野に実際に影響を与えるアイデアを持つことが重要なんだ。それには二つのタイプがある:論理的な次のステップである「明白なアイデア」と、もし成功すれば研究分野をひっくり返す可能性のある「驚くべきアイデア」。物理学者として言うと、真に「驚くべきアイデア」はかなり珍しいけど重要だと思う。時々得るけど、間が何年も空くこともある。でも「明白な」アイデアは、学生が多ければ多いほど取り組むことが増えるよ。> どれも論文になり得るけど、科学であるためには、単に明確に伝えられたというだけではダメなんだ。実験を行って(「アイデア」を正確に実施する)、結果を忠実に報告しないといけない。(レビュアーは追加の制約を加えるかもしれない:結果が「良く見える」必要がある。)これにはちょっと同意する。特にこの文の中で「実験」として理論的な問題を解決することも含めるべきだと思う。科学は単にデータを集めることだけでなく、それを一貫した理解に発展させることでもあるからね。だから理論物理学や数値物理学も「科学」としてカウントされる。逆に、教科書やレビュー論文は科学の社会的プロセスにとって重要だと思う。私たちはしばしば、異なる研究方向から集めた知識を統合しようとしなければならないから、前に進むためにはそれが必要なんだ。その部分は新しい研究よりも明確なコミュニケーションに関するものなんだ。

あなたのコメントは、恥ずかしいほど安っぽいね。あなたは自分が不満を持っている基準を満たせずに、反科学的な愚痴を書いたんだ。

この人はただの道化師で、多分お金で雇われた agenda があるんだろうね。賢い人たちが読んでしまう場所で、こんなバカなことを言うのはやめさせるべきだよ。

この意見は恥ずかしいほど無知で、資格のある人はあなたをチェックする時間なんてないよ。私たちは本当に考える人が必要で、あなたのことは無視してもらわないと。

ある意味で、科学はキャリアを優先する人たちに取り込まれてしまったと思う。アイデアに執着するのがその一部だね。流行に乗った論文を出す方が、何かのアイデアに挑戦する論文を出すよりずっと簡単なんだ。出版物は助成金を正当化し、助成金はもっと多くの人や権力を正当化し、権力は昇進を正当化する。若手の科学者と話すと、みんな「永久的なポジションを得るまでやってる」って言うんだ。その後はもっと好奇心が湧くようになるかもしれないし、そうでないかもしれない。年上の同僚たちは、若い人たちに比べてかなり好奇心が強いけど、好奇心を犠牲にして野心を報いるのは、ちょっと反知性的だと思う。科学は再編成すべきだと思う。今の学科の構造は古いかもしれないし、再構築すれば、学際的な仕事が野心よりも好奇心を活かすことができるから、高インパクトの仕事で好奇心が報われるかもしれない。でも、誰が知ってる?何でも椅子に座って考えることはできるから。

論文のポイントは「このアイデアがあった」でも「この証拠がある」でもなくて、「このアイデアがあって、実際にうまくいった!(ちなみに、これがその証拠で、私がうまくいくと納得したものです)」なんだよね。大事なのは、真実のアイデアを目の前に出すこと。だから、アイデアを明確に伝えることが、その価値を引き出すためにはめっちゃ重要なんだ。

「惑星は一定の速度で動く」「惑星は太陽からの距離のべき法則に従って特定の速度で動き、そのパラメータをうまくフィットさせる」「各惑星は等しい時間に等しい面積を掃く」というアイデアを生み出すのは安いけど、どのアイデアが良いかを評価するのは高くつくんだ。その評価の全体的な価値は、最終的なアイデアに込められているんだよね。

この投稿ありがとう!オープンソースの本を書いてる者として(編集者がいないから)、いくつかのポイントがすごく役立つと思った。でも、あなたの一番大きな変更点は「what」を「why」に変えたことだと思う。元のを読むと、ほとんどの文が「私たちは…」って始まってて、読者としては「それがどう重要なの?」って感じたんだ。二つ目のは、文の最初の部分に「what」があって、物事を名前付けする(これが新しさを感じさせる)けど、その後は「whys」だけが続くんだ。「Whys」>「Whats」は良いコードコメントにも当てはまるし、LLMのコードが時々ダメな理由でもある。コードが何をするかは簡単にわかるけど、なぜそれがあるのかを知りたいことが多いんだ。

面白い読み物だったけど、どうやってその変更があなたの論文を良くしたってわかるの?あなたの仮定は、レビューアが同じ知識と目標を持ってレビューに臨むか、かなり客観的だってことだけど、私の出版歴ではそうじゃないことが多いよ。じゃあ、どうやって1つのサンプルで因果関係を証明できるの?

私は学術界で働いていて、70本以上の論文を発表してる。記事のほとんどのアイデアには同意するよ。もう一つの側面は「著者エンジニアリング」と呼んでいるものだ。新しい分野に「入る」のが非常に難しいことが多いんだ。編集者に知られている著者がいないとね。私は応用数学(すごく横断的な分野)で働いていて、よく「その分野に属していない」と拒否されることがある。博士課程の学生は、指導教員がすでにコミュニティの一員だから、あまり苦労しないけど、そうでない場合は、その分野で知られているコラボレーターを連れてくるといいよ。これは通常、会議で人と話すことで行われる。

科学はそんな風に働くべきじゃないんだ…。

盲目的な査読でこれが解決されると思ってたんだけど?

新しい分野に「入る」のが難しいことが多いのは、編集者に知られている著者がいないからだよね。レビューシステムについては批判がたくさんあるけど、ここでの機械学習は通常、主要な会議でダブルブラインド査読を使ってるんだ。そのブラインディングはしばしば完璧じゃない(例えば、論文が明らかに大手企業のデータセットやクラスターを使っている場合など)けど、著者が無名だからって理由で論文を却下するには十分じゃないんだ。

これらのアドバイスは素晴らしいものばかりで、PhDメタゲームシリーズの他の投稿も含めてね。マックスはこれを本にして出版すべきだと思うし、きっとバカ売れするよ。役に立つランキングをつけるとしたら、トピック4が一番良い部分で「実際にうまくいくものを作らない」ってやつ。トピック3が2番目。特にトピック5が3番目。トピック1が4番目。トピック2は役に立つランキングで5番目だけど、全体的に見て素晴らしいアドバイスだよ。最後のトピックは、PhD研究をいつ、どうやってまとめるかってことかもね。研究は終わりのない取り組みだから。