だから、「人工知能」を名乗るものが、データをトレーニングに使うのに最も効率的な方法を使うと思うよね？リポジトリをクローンして、すべてのコミットを歩く。これで終わり。もしこういうリポジトリがクローリングしたものの10％以上を占めているなら、クローン可能なリポジトリの特別なケースを設けるのは賢いけど、すべてをクローリングしているなら、もっと解析しやすいオプションがある特別ケースごとに効率を調整することはしないよね。

ハイアヌビスの難易度がいくつかのサイトでめっちゃイライラする。もうLLMボットをブロックしなくなってきたの？ > 33％が数学を解いてメインサイトにアクセスしてる — どうやら、私たちが提供するものはアヌビスチャレンジを計算するのにたくさんのサイクルを使う価値があるらしい。

以前は人気のあったゲームサイトを運営していて、秒間に何百もの正当なリクエストがあったんだ。特に人気のイベント時には負荷がすごかった。だから、ずっと専用サーバーで運営してた。サイトには「オンラインユーザー」カウンターもあって、認証されていないユーザーの実際のセッションをカウントしようとしてた。これでコメントしたり、特定のフィルターや表示オプションを変更できるんだ。Googleボットはカウントしてなかったけど、ここ数年でこのカウンターは100-200ユーザーから何千人に増えた。私は何年もほとんど手を加えず、ちょっとしたアップグレードやバックアップをしてた。でも、サイトがかなり遅くなってきて、これらのセッションが影響してるのは明らかだった。だから、ついにクローラーを調査したら、やっぱり全く人工的なトラフィックがすごい量で、実際のユーザーはほんの数人しかいなくて、何千ものクローリングセッションがあって、できる限りのことをしようとして、すべてのボタンをクリックしてる。ソートや検索がGETリンクを使って実装されてるのも良くない。カウンターをクローラーを除外するように修正したけど、ちょっとジレンマがある。ボットがすべてのコンテンツに基づいて知識を更新するのを止めたくないんだ。見つけた最良の解決策は、新しいCloudFlareの機能で、リクエストごとにクローラーに料金を請求するか、ブロックするかのどちらかなんだ。これはインターネット全体にとって素晴らしいアイデアだと思う。ベータアクセスにサインアップしたけど、また連絡は来てない。CloudFlareと仲介者が必要なのは残念だと思う。全体的に、LLMがインターネット経済やそのオープンさに本当に負担をかけているように見える。メールスパムが最悪だったけど、組織化された兆万長者のラボがインターネット全体を吸い上げてるのは、もっと早く対策しないと何かが壊れるだろう。著作権や公共インターネットのシステムがもっと早く行動しないのは残念だ。こんなに急いで競争する必要はないと思う。