AIコンテンツに対してアレルギーがあるわけじゃないけど、たぶんこれは恐怖症というより、自分の出力でAIをトレーニングするのを避けたいってことだと思う。実は最近、同僚とこの話をしてたんだ。AI以前のコンテンツは、もう二度と増やせないものだから、ますます貴重になっていくよね。理想を言えば、2015年頃に利用可能なデータを暗号的にタイムスタンプしておくべきだったけど、今は今で仕方ないよね。

私もアレルギーはないよ（サイトを作ったのは私だし）。人間が作ったものを追跡するためのアイデアだったんだ。

予測：一般知能を持つ人型ロボット（エクス・マキナスタイル）が登場する前に、AIシステムが車を修理することはないと思う。そういうロボットが現れるまで、五つ星ホテルにAIメイドも出現しないだろう。これがあなたの主張を無効にするわけじゃないけど、今日とあなたが言ってる瞬間の間には、想像を超えるほどのギャップがあるから、「AIの雑音が言語の単語頻度データベースを汚染することを心配しなくて大丈夫、最終的には解決するから」って言うのは少し的外れだと思う。

ハルシネーションが引用されて、真実として扱われるのが残念だね。簡単な例を挙げると、「どのMS-DOSの生産性プログラムにConnect Fourが組み込まれていた？」って質問。私はMS-DOSエミュレーターを持っていて、答えを知ってるんだけど、ちょっとマイナーなものだから、毎回AIから違う答えが返ってくるのがすごい。正しい答えを出したのを見たことがないよ。上の質問をしてみて。それから、それが本当かどうか聞いてみて（たぶん考えを変えるよ！）。こういう答えがオンラインで引用されて、AIがその循環参照されたソースを元に学ぶことになると、真実がなくなっちゃうんだ。マジで上の質問を試してみて。AIが完全に作り上げた権威ある答えを繰り返し言ってる良い例だよ。

YouTubeには実際の車修理の経験に関するトレーニングデータが膨大にあるけど、全部著作権で保護されてるんだよね。AI企業がそのコンテンツを使う前にライセンスを取得すべきかどうかは、ちょっとした論争になってる。

どちらも (1. 著作権のないトレーニングデータを無限に供給してくれて、(2. AI汚染されたトレーニングデータの問題をうまく回避してくれる。これらは基本的に間違っているか、誤解を招くものだと思う。実際の経験を通じて自分のデータを生成する必要があるのはとても高くつくし、データ取得には実際の運用リスクが伴うことになる。Waymoは実際に車を運転して経験を積んでいるけど、単位時間あたりに得られるデータ量の「限界」はフリートの大きさに依存していて、実際の世界で安全に運転できるレベルに達する必要がある。もし車を修理したいのに、ポリシーに基づくロールアウト以外の知識源から始めないなら、たくさんの車を壊しながら学ぶことになる（そして、ロボットが失敗したことを人間に教えてもらうためにお金を払うことになる）期間があることを覚悟しなきゃいけない。メカニックにはマニュアルにアクセスできることや、明示的なトレーニングを受けていることが重要な理由があるし、これは人間でもAIでも同じこと。オフポリシーのRLアプローチを使っているかもしれないけど、素晴らしいね！もしオフポリシーデータが以前の世代のモデルからのデモンストレーションなら、それもAI汚染されたトレーニングデータだよ。だから、実践で学ぼうとしても、トレーニングデータの供給には意味のある制限があって（ウェブをスクレイピングするよりも生産コストが高いかもしれない）、おそらくまだAI汚染されている（でも、データの出所についてはより良い情報があるかもしれないけど）。

よくやった！この「AIの汚染から自由なコンテンツ」という枠組みは前に聞いたことがある気がする。そういうアイデアはずっと前からあったんだろうね。でも、低背景鋼を比喩として使うのは、成功したコールショットとして自信を持って主張できると思うよ。

この例は少なくとも1年前にハッカーニュースで聞いたことがあるけど、もっと前かもしれないね。2年前のやつを見てみて: https://news.ycombinator.com/item?id=34085194

本当に君は間違ってると思う。コンテンツや合成データを注釈するプロセスは、AIの出力を将来の出力を良くするための勾配に変えるんだ、悪くするんじゃなくてね。LLMの出力ではそれがあまり明らかじゃないかもしれないけど、画像や動画モデルではすごく明らかだと思う。システムの最良の視覚出力を選ぶことで、わずかなエラーやテイストベースのキュレーションがシステムをより良いパフォーマンスと一般性に導くんだ。これは、ゲノムを合成機械と考え、物理を確率的勾配と考えれば、遺伝学や生物学があらゆる生態的ニッチに適応するのと同じことだよ。私たちはここで同じことをスピードランしてるんだ。

これはChatGPTのローンチ以来、よく使われる比喩だね。

2022年以前の公開データでトレーニングされたAIは、2022年以降のデータでトレーニングされたものよりも明らかに優れているわけじゃない。むしろ、場合によっては新しいデータの方が、トークンごとに少しだけ良いパフォーマンスを発揮することもあるし、理由はわからないけどね。これはいくつかの理由から本当に悪い論理だと思う。1) 2022年以降、LLMのトレーニング技術はかなり向上した。トレーニングデータにAIのノイズが含まれていることの悪影響は、桁違いに多くのパラメータやより良いトレーニング技術の利点を上回ることはないけど、それが全く悪影響がないわけじゃない。2) 「優れている」というのは非常にあいまいな言葉で、意味のある測定方法がまだ確立されていない。Gemini 2.5がGPT-4oより優れているのはみんなわかるけど、Gemini 2.5とClaude 4の違いを見分けるのは難しい。この段階でのノイズの影響は、同世代モデル間の小さな違いに関するものになるだろう。データで何かを証明するのが難しいほど小さな効果サイズを探しているので、ここでは基本原則に基づいて行動するのが妥当だと思う。基本原則は、AI生成コンテンツでトレーニングするのを避けるのが良いアイデアだと明確に示している。

そうそう、「低背景スチール」って概念の背後にある考えは、合成データでAIを訓練すると「モデル崩壊」が起きて、AIが完全に狂ったり無駄になったりする可能性があるってこと。実際にはそうなってないか、AI企業が内部でAIデータをふるいにかけるフィルターを持ってるかのどっちかだと思う。俺は前者に賭けるね。AI生成データに過剰にさらされることで、人間にもモデル崩壊の可能性があると思うけど、それはあくまで俺の経験則と直感に過ぎない。

まだ人々は本格的にゴミを生成し始めてないと思う。これからかなり増えると思うよ。

無駄なAIのゴミはマジで見た目が良くないよね。こういうのには「要約すると」って返すのがデフォになってきた。誰かの考えを聞きたいのに、LLMの圧縮アーティファクトなんていらないよ。

ナンセンスだね。ディープリサーチツールを使ったことある？ユートピアの誤謬に騙されないで。人間もゴミを出版するから。

これは数年前には直感的に魅力的な信念だったし、いくつかの限定的な実験的支持もあった。しかし、それ以降、（よくキュレーションされた）AI生成からの能力のブレークスルーが、これを決定的に否定したんだ。

自分で質問をすると、人間の専門家がその内容をチェックして名前を付けるステップがないんだよね。そのキュレーションと保証には価値がある。今、君の頭の中では「そんなことしてるわけないじゃん」と思ったかもしれないけど、実際、AI以前にはほとんどそういうことはなかったのは同意するよ。インターネット上のコンテンツの大半は、既に質が低くて、専門知識がない低賃金のライターによって急いで作られていたんだ。AIはそれを変えないよ。

AIによって修正されたりコピー編集されたコンテンツはどうなるの？今は音声メモに話しかけて、それを文字起こしして、トーンやリズムを整えるためにCGPTやClaudeに渡してブログ投稿を書いてるよ。

食べ物と同じように、完全に「オーガニック」（あるいは一部の言語では「生物的」）なコンテンツには市場価値があるだろう。つまり、人間が書いたり、描いたり、作曲したり、編集したり、キュレーションしたものだよ。食べ物と同じように、何が許可されるかの境界を定義するのは悪夢になるだろうし、コンテンツがオーガニックであることを証明するのは不可能だし、認証は完全に信頼のネットワークに基づくことになる。しかも、クリーンだと主張するものによって完全に汚染されるし、実際には高い価格を維持しながら、明らかに悪化しているかもしれない。

ずっと前から、プレーンテキストフォーマットを拡張してファイル内のサブストリングに出所メタデータを入れるべきだと思ってたんだ。これはそれだけど、別の実装だね。プレーンテキストは2本の導体ケーブルみたいなもので、すごく便利でコスト効果も高いけど、1つの抽象レイヤー（データピン）を追加するだけで、もっとクールなことができるようになるんだ。

AI生成コンテンツを含むネットワークトラフィックには、IPの悪意ビットを設定することを求める方が、ずっと混乱を少なくできるだろうね。

新しいプレーンを作る代わりに、何らかの結合文字や、ただの目に見えない記号を使えば、はるかに少ないエンコーディングスペースで同じ目的を達成できるよ。もちろん、テキストを処理しなきゃいけない人には、依然として悪夢になるけどね。