主にステータスゲームだね。彼らは名声による信頼性を求めてる。エルデシュ数とかそういうのは、学界ではかなり重要で、ピアレビューの根本的な機能不全の一部でもある。「あの名前を知ってるから、これは真剣な研究に違いない」とか、「シュミットハーバーの論文に基づいてるなら、正当な研究に違いない」というバイアスがあって、ピアレビューは仮説や結果の冷静で中立的な評価ではなく、心理的で社会的なゲームになってる。さらに「これが正しいやり方だ」という感じの模倣の側面もある。今のピアレビューのやり方は、グッドハートの法則の完璧な例だよ。学界では一般的な慣行だったけど、正式に制度化されたのは1960年代の後半で、1990年代には完全に腐敗したシステムになってしまった。ジャーナルや学術機関は複雑な慣行やルールを作り、SEOみたいに、みんなそのルールを破ることにインセンティブを持つようになった。今では、すべての分野で研究のかなりの割合が出版の技術的基準を満たしているけど、ある分野では半分近くが再現できないし、研究資金や助成金をだまし取るための明らかな詐欺も多い。非公式な善意のコミュニケーションはうまく機能していたけど、査読者やジャーナルが利益を求めるようになると、状況が狂い始めた。

学術論文には「金持ちがますます金持ちになる」現象が確実にあるね。引用される回数が多い論文は「ランドマーク論文」となって、みんなが読む可能性が高くなるし、引用もされやすくなる。でも、ある時点からは特定のトピックや技術に関する文献レビューで「安全」または「デフォルト」の論文として引用されることもあるから、便利さから人々はそれを引用することがあるんだ。もっと関連性の高い論文があってもね。特に研究者がその分野をあまり知らない場合、引用回数が多い論文が関連性があると思い込みやすい。少なくとも会議では締切があるから、研究者は自分のbibtexファイルにあるものをコピー＆ペーストしちゃうことが多いし、残念ながら文献レビューは後回しになりがちだね。私の経験では、CV/MLの分野では特にそうだった。もう一つの「金持ちがますます金持ちになる」現象は、有名な著者や機関が騒がしいけど簡単な「質」のシグナルになること。研究者が特定の分野についてあまり知らなくて、論文の独自の価値を判断する準備ができていない場合、その著者や機関の名声から論文が関連性があるか面白いと直感的に思い込むことがある。会議ではこれが簡単に見えるよ。有名な著者や機関のポスターは、何を見ているのかわからなくても、ほぼ自動的にたくさんの訪問者を引き寄せるからね。

ニュートンは、ほとんどの進展は巨人の肩に乗って成し遂げられると予測した。ライプニッツも同じ時期にそうしたよ。これがオルテガの仮説を裏付けると思う。点をつなぐ人たちが偉大な科学者として見られるけど、その点が最初に存在しなければならない。点は、無数の無名の科学者や学者、書記、職人の仕事なんだ。点が揃ったら、必ず誰かが現れて最後の一撃を加えてつなげるんだよ。時には複数の人が同時にね。

ニュートンは、ほとんどの進展は巨人の肩に乗って成し遂げられると予測した。巨人たちも間違うことがあるから、「巨人たちが私たちの肩に乗っていた」という問題を解決する必要がある。アミロイドベータ仮説は、分野の巨人たちによる一握りの明らかに詐欺的だけど決して大きく挑戦されなかった結果に基づいて、アルツハイマーの研究を数十年も引き止めていた。クーンの「パラダイムシフト」モデルがこれを語っている。最終的にはダムが崩れるけど、それが起こるときは新しい巨人の突然の登場ではなく、何年もの平凡な実験作業の中で支援が徐々に失われることが一般的だ。今の天文学もそうで、決して満足のいくことのないΛCDMモデルが新しいデータの前でついに失敗している。しかも、それはウェッブや新しい機器からだけではない！古いデータも合わなかったけど、誰も気にしなかった。大陸移動説も似たような軌跡をたどり、数世代にわたるかなり説得力のある地質学が確立された仮定に挑戦することができなかったけど、60年代にようやくすべてがうまくいった。

すべてのことに言えるけど、両方とも真実かもしれない。私たちは、少数の人々に後から偉大さを帰属させるかもしれないけど、最も有用なスレッドを見つけるためには、多くの非常に興味深い/野心的な人々が必要だ。実験室を運営したり、データをカタログ化したりするためにね。事後的に「これが本当に役立った」と言うことになる。もしあらかじめ微積分や「星を追跡すること」がこんなに多くの有用な発見につながるとわかっていたらよかったのに！

マシュー効果 - 成功した人がさらに成功するっていう観察を科学出版にまで広げたものだね。有名な人たちはもっと資金を得て、ジャーナルに簡単に掲載されるから、さらに露出が増えて、研究室を持つことになったり、たくさんの論文に名前が載ったりする。歴史上の偉人たちの中には、こういうのがたくさんいるよ。歴史上の偉大な人物を挙げると、ほとんど例外なく、裕福でコネのある家庭に生まれて、その道を歩むことができたんだ。自力で成功した人も確かにいるけど、そういう人たちはもっと面白いことが多いね。でも、数学や科学、哲学の歴史で簡単に名前が挙がる人たちは、ほとんどが裕福な家庭の子供で、自分を育てるための時間やリソースを持っていたんだ。

完全に同意する。引用パターンを観察していると、私が関わったことがないものでも、特定の著者やグループがアイデアや結果に注目を集める理由がいろいろあって、それが引用パターンを駆動していることがわかる。これは、特定の「人気」論文の前に同じ結果が無視されるような奇妙なパターンを生む。たとえ「人気」論文が非常に漸進的であったり、以前の研究の再現であっても、以前の著者が同じアイデアを議論していても、より新しいカリスマ的な著者が登場することで忘れ去られることがある。さまざまな研究が、撤回されたゾンビ論文が撤回されることなく高い引用率を維持し続けることを示している。これについては、もう考えるのを諦めた。ほとんどの場合、これは単なる最近の可用性バイアスで、人々が引用に対して基本的に怠惰であったり、時間がなかったりするからだ。時には、古い文献が単に忘れ去られ、新しい著者が何らかの理由で注目を集めることでアイデアが議論されることもある。多くの場合、特定の人に対するカルト的なバズがあって、その人の人格やプレゼンテーションが重要視されることがある。ある人が天才としての評判を得ると、彼らが言うことや示すことは以前に言われたことや示されたことではないと人々が仮定するようになり、引用パターンにおいて自己実現的な予言が生まれる。彼らの言っていることが有効かどうかは関係ない、ただ多くの注目と同意を集める必要がある。いずれにせよ、私の分野では、研究者が有名である理由は有名であること以外にはあまりないと考えている。マシュー効果は現実で、さまざまな理由で非常に迅速に起こり得る。人々はまた短期的な注意しか持たず、歴史に対する記憶も薄い。これは特に最近の文献に当てはまる。1995年以前の引用パターンは、現在の状態を代表していないと思う。

引用は悪用されやすいね。特にコンピュータサイエンスの分野では、著者たちが互いの平凡な論文を引用したり共著したりするのを見たことがある。その結果、非常に高い引用数や出版数が得られるんだ。なぜなら、仕事が多くの人に分担されているから。

「科学革命の構造」を強くおすすめするよ。オルテガとニュートンの仮説をうまく結びつけていると思う。

同意！その方向性の素敵な短編小説が、スコット・アレクサンダーによって書かれてるよ。https://slatestarcodex.com/2017/11/09/ars-longa-vita-brevis/

そうだね。人間の文明は基本的に、時間を超えたアイデアの伝達に基づいている。古いアイデアがなければ（ニュートンの「巨人の肩の上に立つ」）、長期的な進歩はないんだ。確立された知識を伝えることも、新しい知識を生み出すことと同じくらい文明にとって重要だよ。

面白い例だと思うんだけど、アメリカではアブラハム戦車を作り続けているんだ。戦争中じゃないし、これらの戦車を使う必要もない。だから、物事を合理的にするために、いくつかの国にそのお金を使わせる条件でお金を渡している。なんで作り続けるかって？戦争の初日からその戦車を作れる人が必要だから。何ヶ月もかけて人を育てるわけにはいかない。すぐに準備ができていなきゃいけないから、平和な時代には「理由もなく」戦車を作っている人たちがいるんだ。

数字のゲームが天才の要素よりも重要だという意味だね。数字のゲームは、君が思っている理想的な方法では機能しない。 mediocreや悪い人が科学者になりすぎると、その中の何人かは詐欺や考えなしのモデル作りに関わってしまって、良い科学者の時間を無駄にすることになるんだ。彼らは決してうまくいかない結果を再現しなきゃいけなくなるからね。

平凡な野球選手がチームをワールドシリーズに連れて行くし、平凡な兵士が特別部隊のコマンドーじゃなくても戦争に勝つんだ。原則はかなり一般的だね。

アリストテレスが言ったように、「できる人はやり、理解している人は教える」ってことだね。

逆に言うと、十分な人数がその分野で働いていないと、知識の全体が失われることもあるよ。特に、その仕事が機密扱いの場合はね。熱核兵器のインターステージに必要な重要な材料であるFOGBANKの製造は、2000年までに失われちゃったんだ。製造に関わっていた人が少なすぎて、知っていた人たちは引退したり、他の仕事に移ったりしてしまったから。あれはエアロゲルのような物質だと言われているよ。再び理解するのに5年と何百万もかかる逆エンジニアリングが必要だったみたい。今回はちゃんと文書化したんじゃないかな。