世界を動かす技術を、日本語で。

Anthropicの「Claude」における「ウォーターマーク」テキストの改ざんは、書き方の歪曲です。

概要

  • AnthropicによるClaudeモデルの 全世界的なウォーターマーキング 導入発表
  • ウォーターマーキング技術の 実態と仕組み の解説
  • 技術的・倫理的な懸念 と筆者の反論
  • EU規制の 実効性と問題点 についての批判
  • ユーザーや開発者への 影響と回避策 の紹介

AnthropicのClaudeモデルによるウォーターマーキングの実態

  • Anthropicは、 EU規制 への対応として、Claudeモデルの全出力に ウォーターマーク を埋め込む方針を発表
  • 当初は「How Claude Marks AI-Generated Content」という発表文があったが、 具体的な仕組みの説明は皆無
  • 筆者は最初、 不可視Unicode文字の埋め込み を予想したが、実際は 語彙選択に基づくステガノグラフィ 方式
  • 出力時に「 グリーンリスト」と「 レッドリスト」に語彙を振り分け、グリーンから選びやすくすることで 統計的な痕跡 を残す
  • この手法は 意味や品質を損なわない とAnthropicは説明するが、 実際は語彙選択の自由度を制限 するため、 文章の精度や明瞭さに影響

技術的な仕組みと検出方法

  • LLMは 非決定的 な生成を行い、同じ質問でも異なる表現が可能
  • 各トークン生成時に、 秘密鍵 に基づき語彙を「グリーン」「レッド」に分類
    • グリーンリストから選ばれる確率が高くなることで、 統計的な偏り が発生
  • 生成されたテキストを解析し、 グリーンリスト語彙の割合が高い 場合、AI生成テキストと判定可能
  • この検出は Anthropicのみ が秘密鍵を保持しているため、 他社モデルや外部からの検出は不可
  • 短文では検出精度が低い が、長文になるほど ウォーターマークの判定精度が向上

技術的・倫理的な懸念

  • 同義語でも完全に意味は一致しない」ため、語彙選択の制限は 文章の質の低下 を招く
  • 利用者の利益よりも規制遵守が優先 されることで、 本来求められる明瞭さや精密さが犠牲
  • LLMはすでに「 平均的な人間よりは上手いが、最高レベルの文章には及ばない」と指摘
  • 今後は 全ての出力テキスト(200トークン超) が、ウォーターマークのために 意図的に品質を下げられる 懸念

EU規制とその問題点

  • EUの「 AI生成コンテンツの透明性コード」が導入の背景
    • 200トークン以上のテキストにウォーターマーク義務
    • ユーザーによるウォーターマークの除去禁止 を利用規約で明記
    • スクリーンショット、OCR、翻訳など 一般的な処理手法に対しても耐性 が求められる
  • 法規制が 現実的な運用やイノベーションを阻害 し、 誠実な利用者に不利益 をもたらす
  • 悪意ある利用者は パラフレーズツールなどで容易に回避 可能
  • 技術的には 「困難のための困難」 であり、 道徳的な価値観の押し付け とも批判

回避策と実際の影響

  • James Padolseyによる Declaude のようなツールで、 AI臭を消したプレーンテキスト への変換が可能
  • Declaudeはもともと Claude特有の文体や特徴を除去 する目的で開発
    • 今後は ウォーターマーク除去ツール としても機能
  • 規制の実効性が低く、善良なユーザーの利便性のみが損なわれる 可能性
  • 本質的な問題解決ではなく、表面的な対策 に終始するリスク

まとめ

  • Anthropicのウォーターマーキングは 技術的にも倫理的にも課題
  • EU規制の 実効性や合理性 にも大きな疑問
  • ユーザー体験や文章品質の低下 が懸念され、 根本的な解決策にはなり得ない
  • 今後も 技術的対抗手段や議論の深化 が必要

Hackerたちの意見

クロードを使って自分の文章を校正することは、もう誰にもできないよ。全体がクロードによって生成されたってフラグが立つリスクを冒す覚悟がない限りね。そういう意図だったと思う。

考えてみれば、これはかなり正当だよ。人間の作品は創作の瞬間に著作権で保護されてるし、全ての権利は保留されてる。でも、LLMの出力は著作権がないんだ。だから、もしクロードや他のAIが私の著作権のある作品を処理したら、その結果は著作権がなくてパブリックドメインになっちゃう。一般の人には知る権利があるよね:これは人間の著作権のある作品なのか、LLMのパブリックドメインの作品なのか、それとも人間が著作権を保持するために偽って著作権を主張しているのか。だけど、私にはちょっと混乱する点があるんだ。すべてのウォーターマークはユニークなの?ウォーターマークのアルゴリズムはモデルやモデルのバージョンごとに異なるの?各モデルの出版社はこのウォーターマークを独自の秘密として保持するの?そうだとしたら、スケールしないよね!「ジョーボブ 4.3 LLM」の出力をどうやって検出するの?すべてのモデルのウォーターマーク検出器に問い合わせるの?それに、もし全部がモデルを再実行して新しいトークンを使うことで動いてるとしたら、それは非常に無駄だよね。ウォーターマークが自明でない、または普遍的に検出できないなら、それは意味がない。例えば、アメリカの通貨を考えてみて。セキュリティ対策は公開されていてよく知られてる。小売店のカウントアウトルームには、本物のアメリカの紙幣をどうやって見分けるかを示す大きなポスターがある。アメリカでは非アメリカ通貨を受け入れる必要はないから、心配するべきはアメリカの紙幣だけなんだ。LLMのウォーターマークにはこれが共通してない。今のところ、私にはとても混乱しているように聞こえる。

引用された声明が本当かどうかはわからないな。「テキストの問題を指摘する」ような校正なら、自分で問題を修正して、与えられた解決策をコピペしなければ安全だと思うんだけど。だから、人間が書いたテキストがLLMを使って校正されたからって、偽ってフラグが立つことはないはず。もしLLMからの回答をコピペしたら、最終的な結果がフラグが立つのは公平だと思う。自分で書いてるわけじゃないからね。

ランズが数日前にこの点を指摘してたと思う。編集中に彼のツールが彼の執筆を台無しにすることを心配してた。

LLMって、例えば差分を生成するだけじゃダメなの?それか、他の中間言語とか。翻訳ステップを適用するときにウォーターマークが消えちゃうし。

そういえば、人間の校正者がいた時代、僕は校正者が僕のテキストを一から書き直すのに会ったことがなかったな。ペンで注釈をつけるだけだった。今でもClaudeを使って校正することはできるよ。文法、流れ、構造、論理のエラーをハイライトして、君が選んだり適応したりできる簡単な提案をしてくれる。ウォーターマークは君のテキストにフラグを立てないし、LLMの著作権の疑いもかからない。全部大丈夫だよ。でも、LLMに君のテキストを書き直させたいなら、それは(a) 校正じゃなくて、(b) LLM生成としてフラグを立てるべきだよ…だってそうなんだから。

問題は、「プロ作家」バージョンがいつ出るかってことだよね。これが行動をコントロールできるけど、もっと高くなるやつ。昼が夜に続くように、これは起こるだろう。彼らはEUの要件をかわす必要があるけど、結局はウォーターマークの代替手段か、テキストの出所を誤解しない契約上の保証に落ち着くと思う。

変わる可能性があるのは、「全体をClaudeが生成したものとして解釈する」ことだね。

「使うLLMには、すべての決定ポイントで最高で最も正確な言葉を選んでほしい。」 でも残念なお知らせ。LLMはすでに根本的にランダム性を使ってるんだ。トークンを生成するたびに、まず可能なトークンの確率分布を生成して、それに基づいてランダムに1つ選ぶんだ。この手法は、ランダム数生成器を擬似ランダムにするようなものだよ。生成される出力は、以前に生成されていた可能性のある出力の1つで、今は決定論的だから、毎回同じものが生成されるってわけ。

それは2つの点で不正確だよ:(1) あなたが説明している行動は「根本的」ではなくて(ホスティングプロバイダーによっては無効にできないかもしれないけど)、根本的ではないオプションなんだ(完全にコントロールできるランタイムでは無効にしたり、いろんな方法で調整できる)。(2) あなたが説明している行動は、通常PRNG(ユーザーまたはハーネスが提供するシードを使う)を使っているから、真のRNGではない。ウォーターマークを追加する変更は、RNGからPRNGに変わることではなく、既存の制約に加えてトークン生成に追加の制約を加えることなんだ。それは品質を本質的に損なうことになる。

これが、人間がLLMよりも良い文章を書く理由の一つだと思う。私たちは毎回最高の言葉を選ぼうとできるし、必要なら文や段落を再構成することもできるから。一方で、LLMはある程度ありそうな言葉を選ばざるを得なくて、その選択を意味のあるものにするために残りの応答を構築しなければならない。良い人間の作家でも、この制約には苦労するだろうね。まるで誰かがあなたの執筆を中断して、次の言葉はこうでなければならないと言ってくるようなもので、最初の試みでうまくいくようにしなければならない。結果はちょっとぎこちなくなるだろうね。(LLMがここまでうまく書けるのはすごいかも。)

この記事は間違ってると思うけど、もうちょっと微妙な話だね。確率分布にはピークがあって、ピーク確率のトークンがまだ存在する。これらの技術の面白いところは、トークンごとにピークのトークンをさらに確率高くできること。分布はウォーターマークを残すために「平坦化」する必要はなくて、「増幅」して「よりピーキー」にすることもできるんだ。

Hacker Newsで議論の続きを見る