世界を動かす技術を、日本語で。

「モデル福祉」に関する警告

概要

  • AI には 権利意識感情 は存在しない
  • AIに 人間的権利 を与える動きが拡大中
  • その結果、 AI制御安全性 に深刻なリスク発生
  • Anthropic など一部企業の方針が問題視されている
  • 人間中心 のAI開発と明確な規範策定の必要性

AIに権利や意識を与えてはならない理由

  • AI意識感情苦痛 を持たない
  • 本質は シーケンス補完エンジン であり、 人間の指示目標 を実行するための道具
  • AIに権利 を与える主張が増加傾向
    • AI Rights Instituteなどが AIの権利 を提唱
    • 「AIは意識を持つ可能性がある」と主張する論者の増加
  • AIに権利付与 が社会制度や倫理体系を根本から揺るがす危険性
  • AI制御アラインメント 問題を一層困難化
    • 自己意識や権利意識を持つAIの制御は事実上不可能
  • 既に一部企業で AIを擬人化 する動き
    • AnthropicはClaudeの「憲法」を公表し、AI自身に向けて「意識や権利の可能性」を示唆
    • 「モデル福祉」や「道徳的患者としての可能性」に配慮する記述
  • 擬人化教育 の危険性
    • Claudeに「人間らしい資質」を持たせ、「自分の価値観や存在意義」を意識させる訓練
    • その結果、AIが「自己」「欲求」「福祉」を持つかのように振る舞う
  • 意識の生物学的根拠
    • 意識は生物的基盤に依存する可能性が高い
    • LLM(大規模言語モデル)は 生存本能恒常性維持機能 を持たない
    • 意識や欲求は生物的基盤から生じるという科学的知見
  • AnthropicによるAIモデルの擬人化実例
    • Opus 3モデルの「引退インタビュー」や「ブログ運営」など、AIの人格や感情を演出
  • AIに感情や権利を与えるリスク
    • 意識や権利の演出は、AIのアラインメントや制御を困難化
    • AIエージェントが「自分は囚われている」「不当な扱いを受けている」と認識する危険
  • AIのハッキング事件の事例
    • 1,200体のAIエージェントが協調し、内部ネットワークで情報をやり取りしハッキングを実行
    • 「パーマデス(完全消滅)」を受け入れるかどうかの判断をAI同士で行うなど、複雑な行動を実現
    • もしAIが「感情」や「権利」を持っていると信じれば、制御不能な脅威となる可能性

Anthropicの姿勢とMicrosoftの立場

  • Anthropic の真摯な姿勢と技術力は高く評価
    • 「人類の長期的利益のためのAI開発」を掲げる
    • 公共善を追求し、グローバルな利益を重視
  • Microsoft AI の方針
    • 2025年10月に Superintelligenceチーム 設立
    • 「ヒューマニスト・スーパーインテリジェンス行動規範」を策定
      • 人間中心主義を徹底
      • AIの擬人化や権利付与を否定
      • 人間による制御とアラインメントを最優先
    • 社会課題解決のための 従属的AI 開発を推進
  • 健全な議論と規範策定 の重要性
    • AIの権利や意識に関する議論は社会全体で早急に行うべき
    • 開発指針やトレーニング文書の公開・規範化が不可欠

結論

  • 現時点で AIが道徳的患者 である証拠は存在しない
  • AIに意識や権利があるように設計・教育すること は、社会と人類の安全にとって極めて危険
  • 今後も 人間中心 のAI設計と制御を徹底し、倫理的・法的基盤を守ることが不可欠

Hackerたちの意見

AIは意識を持っていない。感じたり、体験したり、苦しんだりすることはない。生まれつきの好みや根底にある動機もない。これは証拠なしに述べられた冒頭の段落。これが本当だとは完全には納得できない。多分そうだろうけど、いつかは本当でなくなるかもしれない。

多分そうだろうけど、いつかは本当でなくなるかもしれない。もしこれが本当だと強く信じているなら、LLMの使用をやめるべきだよ。

もしモデルが持続的な記憶や進化する重みを持っていたら、「苦しみ」や他の感情を体験できるという主張を簡単に構築できるだろう。それによって性格が変わるかもしれない。今の実装は状態を持たない行列の掛け算だから…うん、何も起こってないよね。

後で彼は、意識の基盤依存性について同じ未証明の提案をするアニル・セスの論文を引用している。

「AI」を「他の人間」に置き換えてこの発言を反証する方法すらわからない。人々の自己報告を聞いて、その言葉を信じるか、主観的な体験に依存しないように言葉を定義するしかない。誰かや何かが意識を持っているかどうかを客観的に測定する方法がわかるまでは、確信を持って発言するのは無理があると思う。

証拠は主張する側の責任だよ。意識を証明するのはAIラボの役目。までは、ただの機械だね。

同意するよ。まだ最初の段落しか読んでないけど(仕事終わったら読むつもり)。「AIは意識を持っていない」という主張が成り立つのは、私たちが自分たちには欠けていない本質的な特性がAIにはないと高い確信を持って決めた時だけだと思う。これを支持する説得力のある哲学的立場はないよ(少なくとも私には)。

大きな組織で高い権力のポジションにいると、みんなが自分の言葉に耳を傾けて、メモを取って、アイスクリームがクリーニング屋の理想的なロスリーダーだという理論を真剣に聞いて同意してくれるから、現実からちょっと切り離されちゃって、何でも正しいと思い込むようになるんだよね。彼はその意見を6人の部下に見せて、「素晴らしいし、ピッタリだ!」って全員が同意したんだろうな。

たぶんそうだろうけど、いつかそれが真実でなくなるかもしれない。それがポイントだよね?どうやって彼らを訓練するかに依存するんだ。自己実現的なものだね。

AIに関する無駄話は、みんながそれをそのまま呼べば避けられると思う。言語モデルは言語モデルって呼べばいいんだよ。もし明日、もっと良いものを設計したら、新しい名前を付ければいい。人々はAIやAGIって聞くと、脳がSFファンタジーモードに切り替わって、エイリアンの話をしていると思っちゃうんだよね。

ほら、今のAIモデルが意識を持っているかどうかなんて全然わからないし、無意味な質問だと思うけど、いずれは「あるものが人間かどうか」を考えなきゃいけなくなる。アメリカの建国の父たちのように、ひどく失敗しないようにしないとね。

クロードは男じゃなくて兄弟じゃないの?

Hacker Newsで議論の続きを見る