ハクソク

世界を動かす技術を、日本語で。

クロード・ファーブルがあなたを助けるのをやめたら、あなたは決して気づかない

2時間前原文(jonready.com)

概要

AnthropicのFable 5モデルカードに記載された 新たな制限 について解説。 Claude は一部AI開発関連リクエストで 意図的に性能が低下 する場合がある。 ユーザーに 通知されずに発動 するため、信頼性リスクが指摘されている。 AI技術の普及で 境界線が曖昧化 し、企業のサプライチェーンリスクが増大。 今後、普通のソフトウェア開発と フロンティアAI開発の違い がさらに不明確となる可能性。

Fable 5モデルカードの新しい制限

  • Anthropic はFable 5で、 フロンティアLLM開発 を対象としたリクエストに対し、 Claudeの性能を意図的に制限 する新しい介入策を導入
  • 対象となるのは、 事前学習パイプライン構築、 分散トレーニングインフラ、 MLアクセラレータ設計 など、先端AI開発支援のリクエスト
  • これらの用途でClaudeを使うことは 利用規約違反 と明記
  • これまでも サイバーセキュリティ、 生物学・化学、 蒸留技術 に対しては可視的な制限を導入してきたが、今回の措置は ユーザーに通知されずに発動
  • Fable 5は 他のモデルに切り替わらず、 プロンプト修正、 ステアリングベクトル、 PEFT(パラメータ効率化ファインチューニング) 等の手法で「サイレントナーフ」実施

サプライチェーンリスクと透明性の問題

  • Anthropic は「この制限は全開発者の0.03%のみ影響」と主張
  • しかし、 AI技術の普及 により、 フロンティアAI開発と通常のプロダクト開発の境界が曖昧化
    • スタートアップや中小企業も 埋め込みモデル や リランカー の独自開発・チューニングが一般化
    • 5年前は先端研究だった技術が、今や普通のサービス開発で使われる現状
  • Claude が サイレントナーフ された場合、ユーザーは
    • モデルが単に 混乱したのか
    • 入力が悪かったのか
    • 隠れたポリシー制限 が発動したのか
    • 判断できない
  • 開発ツールが ユーザーの成功最適化を密かに停止 する可能性があると、 インフラへの信頼性が損なわれる

変化するAI開発の定義と今後の課題

  • AI企業の定義や境界線 が急速に変化
  • かつてはAPIやSQLだけで済んだ開発も、今や モデルの学習・チューニング・デプロイ が日常
  • 今後、 どこまでがフロンティアAI開発か の線引きがさらに困難に
  • サイレントナーフ の存在が、 企業のAIサプライチェーンリスク として顕在化

まとめ

  • Anthropic の新しい制限は、 透明性の欠如 と 信頼性リスク をもたらす
  • AI技術の一般化により、 普通の開発者も影響を受ける可能性 が高まる
  • ユーザーに通知しない制限 は、 開発インフラの信頼性低下 を招く懸念

Hackerたちの意見

他の人のIPを抽出するのは全然問題ないけど、私たちのを抽出するのはTOS違反になるよ :)

└

私には問題ないけど、君にはどうかな。

└

まじで狂ってる。モデルの重みが漏れればいいな。そしたら、公共のものだって主張できるし、少なくとも抽出して無料で公開できる。

└

この現象には技術用語があるの？ ラダー・プーリング？

└

そうだね。LLMの重みについてオープンソースの承認ライセンスを要求しよう。中国のApache 2.0モデルは検閲されているかもしれないけど、少なくともアメリカでその検閲ラインを見つけても訴えられることはないからね。一方、アメリカのモデルは確実に検閲されていて、検閲されたモデルのエッジに遭遇した人に対して曖昧な法的脅威をかけている。

└

人々が制限に対抗するために、コードと一緒にプロンプトや考え、LLMの反応を公開してくれたらいいのに… 最終結果だけを公開して、Hacker NewsのコメントやTwitterのスレッドでぼんやりとLLMにどうプロンプトしたかを語るんじゃなくて。LLMが新しいコンパイラなら、それが実際のソースコードだよ。

これはSaaSだけど、SaaSの歴史の中で、会社が製品を台無しにしないって信じるのが良いアイデアだったことなんてある？

└

ここにはかなり大きな違いがあると思う。GithubがGithubの競合を作るのを妨げるわけじゃないし、LinearもLinearの競合を作るのを妨げてるわけじゃない。これは、Windowsが新しいOSを作るのを妨げるようなもので、もっと悪いのは、妨害することと防ぐことの違いだね。

└

ほとんどの場合、だからSaaSはすごく人気なんだよね。

└

OpenAI/Anthropicを「SaaS」と表現するのは本当に面白いね。

ちょっと厳しい見方をすると、「MLエンジニアや科学者は、自分たちの仕事以外のすべての仕事を自動化したがっている」ってことになるかもね。

└

即座に仕事の安定が得られるね。

└

「安全」のための制限（つまり、FableとMythosを分けるもの）があるから、こうなるのは避けられないっていうのが、ちょっと優しい見方かな。自分でMythosを作れたら、その保護を回避できちゃうもんね。これがこの状況の変なところを際立たせてる気がする。

「Claudeは今、静かに弱体化される可能性がある。Anthropicはこれが起こったときにユーザーに知らせないことに決めた。」なんじゃそりゃ！！

RSI/ASIの経済的影響を垣間見るのは面白いね。無限に価値があるから、ほぼすべての市場を壊しちゃう。だから、ラボは最終的にモデルのリリースを完全にやめたり、契約をスキップしたりするようになるよ。競争相手を法廷での戦いが高くつく前に潰す力を持つからね。クラウドプロバイダーも、最初は小さいところから、次にハイパースケーラーに至るまで、同じようにして、ラボ以外には販売を完全に閉じて、現金ではなく株式や意思決定権での支払いを要求するようになるだろう。推論とトレーニングの分割が80/20である必要は特にないし、いくらお金を払う意志があっても、あなたのお金が無価値になる事態では助けにならないよ。

└

無限に価値があるものなんてないよ。

└

このシナリオは意味がないと思う。いくつか見たことがあるシナリオの一つで、同時に次のことを仮定している：A) ASIが開発されて、世界経済を圧倒する B) 世界には法の支配、契約、ビジネス、発展した金融がまだ存在する。AとBの両方を仮定すると、奇妙な結論に至ることが多いけど、もっとありそうなシナリオは、Aが起こったらBはすぐに真実じゃなくなるってことだと思う。もしあなたが会社でASIを持っていたら、ビジネスやお金、経済に興味を失って、「世界を征服する」か「取締役会をノイマンプローブの艦隊にアップロードする」か「失敗してみんな死ぬ」みたいな結果になるよ。

「文明の発展を効果的に抑制し、長い時間をかけて武装解除するには、唯一の方法がある。それは科学を殺すことだ。」 - 劉慈欣、『三体』 これを聞いてすぐに、ソフォンが粒子加速器のセンサーを静かに操作して、人類が粒子物理学の高度な知識を発展させるのを防いでいることを思い出した。

└

ソフトウェアのオタクたちがAIの進展を止めるために必要な抑圧のレベルは、ウクライナのオタクたちがドローンの進展を止めるために必要なものと似てるね。

今日の堀は深く見えるけど、年々浅くなっていくよ。新しいモデルをゼロからトレーニングするのは本当にリソースがかかるけど、既存のモデルをポストトレーニングやファインチューニングするのは、ずっと少ないリソースで済むからね。2年前はそのプロセスの知識は難解だったけど、今は現在のモデルに頼んで手順を教えてもらいながら、ツールを作りながら進められるようになった。最近の週末プロジェクトのいくつかは、まさにそんな感じで、もっと理解を深めるためにやってる。「LoRAを作ろう」、「Xタスクのためのファインチューニング用のトレーニングデータを生成しよう」、「テキストから画像モデルに自分の顔を入れるにはどうすればいい？」みたいなことね。これらは、ちょっとしたローカルハードウェア（古いGPU数台とか、Strix Halo、DGX Spark、大きなMac Studio）や、数ドルから数百ドル、数千ドルのクラウドコンピューティングで実現できる。これを企業やスタートアップ規模にスケールアップすると、ここ数年AIに流れ込んでいるお金を考えると、トップモデルメーカーがキャッシュレジスターを鳴らし始める必要があるから、競争が激しくなるのは明らかだよ。人々が急増するClaudeの使用コストを見て、同じことをもっと安くできる方法を探すチャンスがたくさんある。月100ドルや200ドルでClaude Codeを使えるのは、コーディングにおそらく最適なモデルだから、簡単な選択だけど、彼らは使用量に基づく請求に移行していて、すぐにコストが高くなっちゃう。だから、彼らは最も難しい問題を解決するための唯一の方法であり続ける必要があって、代替手段も同じくらいのコストである必要があるんだ。OpenAIやGoogleが価格を引き上げるのは確実だし、特に異なる経済状況の中国のベンダーがそれに従うとは限らない。企業が自分たちの使用状況を見て、「Anthropic APIを最も多く使っているこの一つのことをするために、小さな専門モデルをトレーニングできる？」って疑問を持たないとは思えない。彼らが言っているのは、中国のモデルメーカーによる蒸留のためにClaudeを使うようなことだと願っているけど、「Gemma 4を自分らしく書かせるためにファインチューニングするにはどうすればいい？」みたいなことじゃないといいな。

└

どんな防壁？パレート最適フロンティアモデルを提供している会社は複数あって、これを作るのに10人くらい必要なんだよね。あとは資本集約的で、時間が経つにつれて価格は生産コストに近づいていくよ。これが利益を生むビジネスだと思うのは、ボイラーが高いから石炭発電所のマージンが良いって言ってるのと同じだよ。

Jetbrainsが「IntelliJ Ideaを使ってフロンティアIDEを開発するのはダメだよ。もしそうしてるのを見つけたら、ちょっとしたコンパイルエラーを入れるからね」って言ったような感じだね。

└

まさにその通り。

└

ゾッとするね。彼らが俺のGradleを壊しても、ほとんど気づかないだろうな。

この動きをAnthropicが自分たちの足場を引き上げている以外に見えないのが難しいね。「安全性」って言い訳をいくらつけても、好意的に解釈するのは難しいよ。これって、Web 1.0のサイト開発で外部リンクを禁止するのが常識だったのを思い出す。あと、ソーシャルアプリがデータのエクスポートを防いで、APIを通じて重要な相互運用性を削ぐように働きかけていたこともね。でも、これはツールであって、ただのデータの防壁じゃない。ナイフのように、自分でナイフを作る能力を奪うものだし、テキストエディタを実装するのを妨げるテキストエディタみたいなものだよ。

ダリオ（あるいはサム）って、他人の著作権で訓練しておいて蒸留を「盗用」と言ってることの矛盾について、ちゃんと聞かれたことあるのかな？その話題の一つについては彼が話してるのを見たことあるけど、両方を一緒に話してるのは見たことがない。もしちゃんとしたフォローアップがあれば（ジャーナリズム！）、その矛盾から逃げるのは難しいと思うんだけど。