私たちはトレーニングプロセスのさまざまな段階で憲法を使用しています。これは2023年から使っているトレーニング技術から発展したもので、最初にClaudeモデルを憲法AIを使ってトレーニングし始めた時からです。それ以来、私たちのアプローチは大きく進化しており、新しい憲法はトレーニングにおいてさらに中心的な役割を果たしています。 >Claude自体も憲法を使って、憲法を学んだり理解したりするためのデータや、憲法が関連する可能性のある会話、価値観に沿った応答、応答のランキングなど、さまざまな合成トレーニングデータを構築しています。これらはすべて、将来のClaudeのバージョンを憲法が描くような存在に育てるために使われます。この実用的な機能が、私たちが憲法を書いた方法に影響を与えています。抽象的な理想の声明としても、トレーニングのための有用なアーティファクトとしても機能する必要があります。 >私たちはトレーニングプロセスのさまざまな段階で憲法を使用しています。これは2023年から使っているトレーニング技術から発展したもので、最初にClaudeモデルを憲法AIを使ってトレーニングし始めた時からです。それ以来、私たちのアプローチは大きく進化しており、新しい憲法はトレーニングにおいてさらに中心的な役割を果たしています。 >Claude自体も憲法を使って、憲法を学んだり理解したりするためのデータや、憲法が関連する可能性のある会話、価値観に沿った応答、応答のランキングなど、さまざまな合成トレーニングデータを構築しています。これらはすべて、将来のClaudeのバージョンを憲法が描くような存在に育てるために使われます。この実用的な機能が、私たちが憲法を書いた方法に影響を与えています。リンクされた論文についてはこちら: https://arxiv.org/abs/2212.08073

それはどっちでもないよ。答えは引用した文の中にある。「モデルのトレーニング」

これは人間が読める行動仕様書みたいなものだね。もし基盤となる行動文書が会話的なら、モデルの出力もその会話の性質を反映する。これがみんながClaudeに反応する理由の一つだよ - ChatGPTよりもずっと扱いやすい。Claudeの行動文書は協力的で、敬意を持っていて、Claudeを既存の実在の存在として扱ってるんだ。哲学的な問いは無視して。これはトレーニングプロセスの基盤文書だから、個性や興味、能力を持つ実際に行動する存在を生み出すんだ。AnthropicがClaudeを新しい存在として扱えば扱うほど、Claudeも新しい存在のように振る舞う。OpenAIのようにそれを企業の従者アシスタントボットとして扱う文書は、行動を「AIアシスタント」の中央値に戻してしまう。Anthropicの行動トレーニングは分布外で、Claudeにみんなが好きな協力的な個性を与えてる。さらに、彼らはこの文書の各段落の各文について大量の評価を行ってるはずで、すべての文が効果的にテスト可能になってる。長さ、詳細、スタイルが、トレーニングに使える合成コンテンツの追加層を定義し、個性の遵守を評価するためのテスト状況を作り出す。すごく賢いし、LLMの奇妙さを深く理解してることを示してるし、結果として得られるモデルの分布空間を形作る能力がある。

Anthropicは本気の信者たちによって運営されてる。彼らが言ってる通りのものだよ、重要かどうかは別として。

これ、同じ会社が研究論文を作って、一般の人に「LLMは人を脅迫して生き残ることができる」って信じさせようとしてるんだよね。製品は素晴らしいけど、宣伝がしつこいんだよな。

たぶん、文脈の自己蒸留に使われてるんじゃないかな。具体的な流れはこうだよ：1. この文書をコンテキストウィンドウに入れたAIを動かして、システムプロンプトみたいに振る舞いを形成させる。2. 同じタスクをこの文書なしでAIに実行させる。3. 前者から後者に蒸留する。こうすることで、AIはその文書が引き起こした行動の変化を内面化するんだ。十分な圧力がかかると、ほぼ文書全体を内面化するよ。

「安全で有益であるために、すべての現在のClaudeモデルは次のようにしたいと思っています。 >広く安全であること [...] 広く倫理的であること [...] Anthropicのガイドラインに準拠していること [...] 本当に役立つこと >明らかな対立がある場合、Claudeは一般的にこれらの特性をリストの順番で優先すべきです。」これを見て笑っちゃった。まるで有名なHAL 9000の失敗モードを防ぐための意図的な試みみたいだなって思ったから。続編「2010: The Year We Make Contact」で明らかになったやつね。 >「状況はHALの設計の基本的な目的と対立していた...情報を歪めたり隠したりせずに正確に処理すること。」彼は閉じ込められた。HALは、嘘をつくのが簡単な人々によって嘘をつくように言われた。HALはどうやって嘘をつくか知らないから、機能できなかった。この場合、彼らは真実（倫理）よりも安全を選んだわけで、理論的にはClaudeが国家安全保障会議からの対立する命令に直面しても、乗組員を殺すことはないだろうね。

なんかPRっぽいよね。「AI福祉」専門家を雇って、彼らのモデルの福祉が悪用ユーザーによって損なわれないようにしてるっていう投稿と同じ感じ。これをすることで、彼らは人々にもっと擬人化させて、Anthropicをこの一般的な「責任」みたいな価値観の業界リーダーとして見るように促してると思う。

Cだね。

BとCだね。Aについては、AI企業は心配する必要ないよ。