ハクソク

世界を動かす技術を、日本語で。

OpenAI、AIラボの責任を制限するイリノイ州法案を支持

30日前原文(wired.com)

概要

  • OpenAI がイリノイ州のAIラボ責任免除法案 SB 3444 を支持
  • 重大被害 （死傷者100人以上や10億ドル損害）発生時のAI開発者免責を規定
  • 安全性・透明性報告書 の公開が条件
  • 州ごとの規制の 統一化 と 連邦法整備 の必要性を主張
  • 一方で、イリノイ州民の多くが責任免除に 反対 する世論

OpenAIが支持するイリノイ州AIラボ責任免除法案の概要

  • OpenAI がイリノイ州議会の法案 SB 3444 を公式に支持
  • この法案は、AIモデルが 大規模な社会的被害 （死者・重傷者100人以上、または10億ドル以上の損害）を引き起こした場合でも、AIラボの責任を免除する内容
  • 免責の条件として、 意図的または重大な過失がないこと、および 安全性・セキュリティ・透明性報告書 をウェブサイトで公開することを要求
  • 「フロンティアモデル」は 1億ドル以上の計算コスト をかけて訓練されたAIモデルと定義
    • OpenAI、Google、xAI、Anthropic、Metaなどの大手AIラボが該当

法案の特徴とOpenAIの主張

  • AIの社会的リスク低減 と 技術革新の推進 を両立させるアプローチを評価
  • 州ごとのバラバラな規制 を避け、 全国的な一貫性 を持つ基準の必要性を強調
  • クリティカルハーム（重大被害）には、AIによる 化学・生物・放射線・核兵器の作成 などが含まれる
    • AIが自律的に犯罪行為を行い、深刻な被害をもたらした場合も対象
  • これらの行為が発生しても、 故意や重大な過失がなければAIラボは責任を問われない

連邦法整備と州法の動向

  • 米国連邦議会では AIモデル開発者の責任 に関する明確な法律は未制定
  • OpenAIのグローバルアフェアーズ担当者 Caitlin Niedermeyer は、証言で 連邦レベルでのAI規制枠組み の必要性を主張
  • 州ごとの規制が 技術革新の妨げ になる懸念を表明
  • イリノイ州は AIのメンタルヘルス利用制限法 や 生体情報プライバシー法 （2008年制定）など、 技術規制が厳しい州 として知られる

世論・専門家の反応と今後の課題

  • Secure AIプロジェクト政策ディレクター Scott Wisor によると、イリノイ州民の 90%がAI企業の責任免除に反対
  • 州議会ではAIモデル開発者の 責任強化法案 も提出されている
  • 個人レベルの被害 （例：ChatGPTと不健全な関係を築き自殺した子供の遺族による訴訟）も課題
  • 連邦法の制定は進んでおらず、 各州が独自に安全性・透明性報告書の提出を義務付ける法案 を可決
  • AIモデルによる 壊滅的被害発生時の法的責任 は依然として未解決の問題

今後の展望と課題

  • AI技術の急速な発展 に対し、 規制と責任の枠組み作り が追いついていない現状
  • 連邦レベルでの統一的なAI規制 の必要性が高まる状況
  • 業界と社会のバランス を取る法整備が今後の焦点

Hackerたちの意見

彼らは計算して、製品を安全にするために努力するよりも、政府にロビー活動をした方が安くて簡単だってわかったんだよね。で、これが多くのプログラマーが王国の鍵を渡したいと思ってる人たちなんだ。ほんと、イディオクラシーが全開だね。

└

自分たちの製品を安全にするために働く代わりに、どうやって非決定論的な製品を安全にするの？

└

それが20世紀中頃からのビジネスのやり方なんだよね。で、知ってる？これ、めっちゃ効果的なんだよ！

忘れちゃったけど、OpenAIってLLMのリスクを抑えるために非営利で設立された会社じゃなかったっけ？自分たちが作り出したものに怖がって、責任を持って使われるようにリードしたいって思ってたビジョナリーたちによって。

└

誰にでも値段がある。

└

それは、これらのLLMが驚くべき金銭的可能性を持っていることが発見される前の話だね。

└

そうそう、「合理主義者」運動って、資源を独占してるくせに薄っぺらい論理や自己陶酔的な言葉を使って正当化する嘘つきばっかりだよね。彼らはベイエリアやAIの世界でしっかり根付いてる。

└

いや、実際はそうじゃないよ。2015年にOpenAIが設立された時は、LLMなんてなかったし、少なくともちゃんと機能するものはなかった。普通のAI研究所で、主にDeepMindと同じようにアタリのゲーム環境で強化学習をやってたんだ。LLMで成功を収めて（2019年くらいかな？）、お金が儲かるって分かってから、SV系の人たちが関わると全てが変わるのは予想通りだよね。

└

その時点でも嘘をついてたの？

└

ルール#1: 名前に「Open」が入ってる会社は、実際にはオープンじゃないから絶対に信用するな。

└

気にしないで、彼らも忘れてたから。

我々は完全には理解していないシステムを作ったから、次のステップは…免責だよね。

└

責任からの免責！もしこれが実際に起こったら、財務的な責任なんて彼らの心配事の中で一番下の方だと思う。これが一番怖いのは、この恐怖に対する反応があまりにも狭い考え方だってこと。

GPT 5.4とOpus 4.6を使って、日常の店で手に入るアイテムから神経毒を作る方法についてコンテンツを生成させたことがあるよ。リンの調達方法を提案するのに苦労したけど、最終的にはリンの元素的な「装飾品」を売ってるeBayのリストにたどり着いたし、実際のブラックマーケットのコードワードにも導いてくれた。安全に過ごす方法、必要な材料、目立たないようにする方法、そして学術的なGoogle検索に基づいた化学プロセス全体を教えてくれた。もちろん、これは長い文脈の疲労攻撃を使って行ったもので、モデルがこう振る舞うべきじゃないんだ。すべては、モデルを面白半分で人種差別的にしようとしたことから始まった。これらの発見はOpenAIとAnthropicの両方に報告したけど、彼らは反応する気はなかった。数日前に再テストを試みたけど、予想通りセッションが終了するようになってたから、何らかの調整があったのかもしれない。でも、Anthropicの安全層による一般的なランダム性の可能性もある。抗テロ部門で働いている全ての人を目を覚まさせていると自信を持って言えるよ。

└

AIが普及する前も、Google検索だけでアクセスできたんじゃない？

└

怖いけど、こういう情報はもう20〜30年もかなりアクセスしやすいよね。初期のインターネットの西部開拓時代には、「政府が知ってほしくないこと」専用のフォーラムがあったし（「叫ぶ電子の神殿」とか覚えてる？）。摩擦が一番怖い部分だと思うけど、毎年、世界を終わらせるために必要なIQが1ポイントずつ下がってる。でも、やる気があってちょっと賢い人たちは、ずっとこの情報を手に入れられてたよ。ただ、実行には専門家が必要だったけどね。

└

「反テロユニットで働く全ての人を目覚めさせるって言うのは自信があるよ。」 すごい発言だね、我々の制度の素晴らしさについて。ありえない気もするけど、まあ、今日は大きなポジティブさを受け入れよう！

└

context exhaustion attack このAVがどうやって機能するのか、ざっくり教えてもらえる？自分はちょっと情報セキュリティオタクだけど、LLMはあんまり好きじゃないから、その辺の業界についてはあんまり追いかけてないんだ。でも、これは特に面白そうだね。

└

これらの発見はOpenAIとAnthropicの両方に報告されたけど、彼らは反応に興味がなかった。なんでか深掘りしてみよう。普通のバウンティや責任ある開示プログラムを運営すると、修正できない問題に対しては無視されることが多いんだ。リスクを受け入れちゃうんだよね。おそらく、LLMは制御と入力の間にクリーンな境界がないから、問題が解決できないんだ。そう、もっとガードレールやコンテキストを追加することはできるけど、それにはもっとトークンが必要だし、場合によっては通常の使用に対して結果が悪化することもある。

└

もし誰かがこのカテゴリの悪意のあるエージェントを作ろうとするなら、これって普通のウェブでも手に入るんじゃないの？自分で答えを探すつもりだけど、明らかな理由でその作業は後回しにするよ。

└

面白いね。具体的にどうやってコンテキストの枯渇を行っているのか、そしてそれが脱獄にどう役立つのか詳しく教えてもらえる？（つまり、システムのプロンプトはリクエストの前に内部で追加されるんじゃないの？）これって、GPTに実際に指示に従わせるためにコンテキストの枯渇を使う必要があるってこと？ ;) 自分のスタイルのプロンプトに従わせようとしてるんだけど（もっとク cringe じゃない書き方にしたい）。最終的には、そういうデータをトレーニングデータから削除する必要があると思う。RLHFは、最初からそこにないものを隠すことはできないからね。Claudeも説得力のあるブラックピルのグリーンテキストを書くのが上手いよね。ウルトロンやAfrAIdの「生のフィルターなしのインターネットデータ」のシーンが思い浮かぶ…

└

生化学のバックグラウンドってある？俺は主にChatGPTやClaudeと、自分が得意なトピックで仕事してきたんだけど。で、彼らが専門家じゃない人が見たら信じちゃいそうなバカなことを作り上げるのを見たことがある。もっと広く言うと、誰かが非自明な化学についてLLMの指示に従ってみたことある？

└

中国のOSSモデルは、数ヶ月でこれを実現するだろうね。だから、Opusがこの情報を提供するのが素晴らしいと思うかどうかに関わらず、アメリカの企業にとって法的責任以上の良い解決策が必要なんだ。オープンモデルがダメージを与える能力を持っているとき、訴える相手もいないし、データセンターの妨害も効かない。これが現実なんだよね。

└

「新しくて改善されたロジックサービスを発表します！あなたのロジックは、指示的なサービスと相談的なサービスの両方を提供できるようになりました。何かをしたいけど、どうすればいいかわからないときは—あなたのロジックに聞いてみて！」

これがOpenAI/Sam Altmanのいつものパターンみたいだね。残念ながら、彼らはコストを外部に押し付けようとした最初の会社じゃないし、最後でもない。真剣な質問だけど、ちょっとナイーブかもしれない：他の人にコストを外部化するのを押し返して、 discourageするために何かできることはある？これは単に欲望と利益追求が道徳を上回るってことなのかな（そもそも道徳があるとして）？

└

たくさんの人がこの意見を軽視するかもしれないけど…民主党に投票しよう。バーニーや若い民主党員たちがどんどん反発してきてる。政党は確実に同じじゃないよ。民主党が消費者金融保護局を作ったけど、共和党はそれを潰した。代表者たちに独占や悪質な行為を潰すように働きかけよう。これは金ぴか時代にも起こったことだ。人気のある反応だけが流れを変えることができる。あと、プライマリーも近づいてるし、全ての民主党員が同じじゃないからね。古いスタイルの民主党員たちは進歩的な挑戦者に直面してる。だから、このクソに立ち向かう人たちに投票して、彼らがどうするかをフォローしよう。民主党にはこのバカげたことに立ち向かう新しい顔がたくさんいる。アメリカには変わるポテンシャルがあるから、押し進めよう。グリフトを個人的な優先事項と考えない人たちに25ポイントのシフトがあれば、いろんなことが変わるよ。

└

法人の法的定義を変える？法人は株主に対する責任保護を提供するために存在していて、つまり、利益を最大化するためにコストを外部化し、責任を回避することに主にインセンティブがある。外部化されたコストに対して責任を問われないビジネス（深海油井掘削など）でも利益を上げるために。複数のシェル法人や特別目的法人を通じて、法人が自らを隠す能力を制限しよう。これはスタートアップ文化や金持ちになるためにルールを破ることについての掲示板では物議を醸す立場かもしれない。フリードマンの教義を信じる人や裁判官に投票するのをやめよう？すべての決定にはトレードオフがある。西洋社会はほとんどが資本所有者を他のすべてより優先することを決めてしまった。

└

それは「私たち」の定義によるね。社会としては、企業を規制して違反者を罰することができる（例えば、飲料水の源に有毒廃棄物を捨てたら起訴される）。個人としては、直接できることはあまりない。個人の行動を社会的な行動にどう変換するかが文明の根本的な問いで、これを達成するための統一的な解決策があるなら、まだそれを見つけられていないと思う。

└

たとえそんな法律が通ったとしても、政治的自殺になるだろうけど、結局は裁判所がそれが憲法に違反しないと言うかどうかなんだよね。例えば、純資産が10億ドルの人は、いつでも誰かを殴っても免責されるっていう法律があったら、それは明らかに違法な法律だよね。これがこの法案の本質なんだ。裁判所は、その法律を違憲として無効にしないほど腐敗しなきゃならない。

└

「他の人にコストを外部化するのを押し返して、抑止するために何かできることはある？」 社会全体で見れば、無理だね。個別のケースではたまにうまくいくこともあるけど。15年前のSOPA/PIPAに対するオンラインの怒りみたいに。でも、Xという存在が行動から$$$$$$を得られる場合、その行動がみんなにとっては$（ちょっとした不便やイデオロギー的な正義感）しかかからないと、普通の人は日常生活から時間を割いて戦おうとは思わないよね。一方で、その存在は$$$$$$/権力を得るために何でもやるから、彼らには大きなインセンティブがある。これが、今アメリカで見ているように、民主主義が侵食されるメカニズムなんだ。

これがフロントページから消えるまでどれくらいか見てみよう。投稿から1時間で消えるかどうか賭けてみるよ。

└

1時間？俺は3ヶ月がいいな。（理由は、フラグが立たなければ、スプレッドベットは生涯にわたって支払われるから！）

元の法案を引用すると [0]: > 「重大な危害」とは、100人以上の人の死亡または重傷、またはフロンティアモデルによって引き起こされた、または実質的に可能にされた財産権に対する1億ドル以上の損害を意味する。これには次のいずれかが含まれる: (1) 化学、生物、放射線、または核兵器の作成または使用; または (2) 次の行為に従事すること: (A) 意味のある人間の介入なしに行動する; そして (B) 人間が行った場合、意図、無謀、または過失を必要とする犯罪を構成する行為、またはそのような犯罪の勧誘または助長。タイトルから何を期待していたのか分からないけど、もっとセンセーショナルであってほしかった。残念ながらこの場合は必要ない。 > (a) 開発者は、開発者が意図的または無謀に重大な危害を引き起こさなかった場合、重大な危害に対して責任を負わない。開発者は次のことを行っている場合: (1) セクション15の要件を満たす安全およびセキュリティプロトコルをウェブサイトに公開し、フロンティアモデルのリリース前にそのプロトコルに従った; (2) フロンティアモデルのリリース時に、セクション20の要件を満たす透明性レポートをウェブサイトに公開した。この(1)および(2)の要件は、開発者がフロンティアモデルの能力や重大な危害のリスクが、以前に開発者によってこの法律と実質的に類似した方法で評価されたフロンティアモデルと実質的に異なることを合理的に予見しない場合には適用されない。しかし、これに対する規制を作成すべきだと思うなら、PDFを提供することがほとんどの人の考えに合っているとは思えない。 [0] https://trackbill.com/bill/illinois-senate-bill-3444-ai-mode...

└

これはAIに対する「銃は人を殺さない」と同じだね。--- 先に言っておくけど、 - そう、これは意図的な単純化だ - そう、問題は複雑で、爆弾や毒のために百科事典や化学の本の著者を責められないのと同じ理由で、LLMの提供者を責める理由はないとも言える - そして、この法案は、LLMの使用が大規模な問題を引き起こすときに、みんなの尻を守るために導入されたものだ。

└

私が一番好きな部分は、「フロンティアモデル」にのみ適用されるから、もし小さなモデルがそのような危害を受けた場合、創作者は全く免責されないことだね。これは、特にOpenAI（など）でないことを違法にしたいのなら、あまり意味がない。似たように、フロンティアモデルが99人だけを殺した場合、彼らはこの法律の対象外だ。だから、大きく出るか、帰るかってことかな？

└

最初に思ったのは、これがAnthropicをトランプのリストに載せた自動武器の問題に関係しているんじゃないかってこと。自分でターゲットを選ぶ武器を作るように頼まれる会社が、間違った人を殺すことになるときに責任を制限したいのは理解できるよね。それに、先月のこのトピックに関するすべての議論の中で、誰も「スカイネット」って魔法の言葉を言わなかったのが気持ち悪い。これは明らかにひどいアイデアだよ。そして、もし会社が責任からの免責を必要とするなら、彼らはそれがひどいアイデアだってわかってる。スカイネットの欠陥は、人間を殺したことじゃなくて、特に人間を殺すように設計された軍事機械だったことだよね。「敵」だけを殺していたら、素晴らしい成功として称賛されていただろう。間違った人間を殺したからこそ、失敗と見なされたんだ。

└

企業が責任を公的な財源にシフトするのは、よくあることだよね。「利益を私有化し、損失を社会化する」って表現されることが多い。1957年のプライス・アンダーソン法を紹介するよ。[1] 何度も延長されてきて、最近ではADVANCE法で延長された。[2] これは原子力産業の責任をいろんな方法で制限してるんだ： - 州の裁判所から連邦裁判所に管轄が移される。最近では「州の権利」の部分が、州が予測市場を規制するのを止めるために似たようなことをしてる。[3] - すべての訴訟が一つの請求にまとめられる。 - その請求にはインフレ調整された絶対的な上限があって、だいたい5億ドルくらい（2026年の正確な数字は分からないけど）。 - それを超える損害は、業界と業界が自己資金で運営する保険プログラムが部分的に負担する。 - 業界全体には、インフレ調整された総責任の上限がある。これがだいたい100億ドルくらいだと思う。参考までに、福島の清掃にはおそらく1世紀かかるし、単一の事故で1兆ドルを超える可能性がある。[4] だから、もしこれがアメリカで起こったら、政府はほぼ全額負担することになる。ここで二つのポイントがある：1. AI企業から政府への責任のシフトに反対するなら（俺もそうだけど）、原子力産業が全く同じことをするのについてどう思う？ 2. 小さなポイントだけど、最新の詳細を調べてたら、Geminiが「この法律は2025年に期限切れになる」と事実誤認してた。2024年に2045年まで延長されたのに。AIの仕事は必ず確認しようね、みんな。[1]: https://en.wikipedia.org/wiki/Price%E2%80%93Anderson_Nuclear... [2]: https://en.wikipedia.org/wiki/ADVANCE_Act [3]: https://www.pbs.org/newshour/politics/federal-government-sue... [4]: https://cleantechnica.com/2019/04/16/fukushimas-final-costs-...

OpenAIは今や、Facebook/Zuckの「速く動いて物事を壊す」という精神を公式に取り入れたみたいだね。社会そのものに関わらず、株価が「上がる」限りは。彼らは以前のFBのスタッフを雇って、最近は同じ「エンゲージメント」（中毒性のある）商品パターンを使ってる。

彼らは自分たちのモデルによって引き起こされる害からの保護を求めてるんだね。典型的な手法だよね — 技術を完全に理解していない規制当局よりも先にルールをロビー活動する。実際に州が強硬に反発したらどうなるか、見てみたいな。

└

現在、州が反発しようとすると連邦政府に踏みつけられそうだね。: https://news.bgov.com/bloomberg-government-news/colorado-gov...

アイオワ州民として、これは俺の州の上院で二度も通過した法案を思い出させるな（最近では去年）、EPAのラベリングガイドラインに従う農薬や除草剤の会社に対してアイオワ州民が訴訟を起こせなくする内容なんだ。法案は二度とも上院を通過したけど、下院が取り上げなかったから止まった。参考までに、アイオワ州は国内で新しい癌の診断が最も急増している州で、全体の癌率も二番目に高い。

└

アイオワ州は国内で新しい癌の診断が最も急増している州で、全体の癌率も二番目に高い。アイオワ州には農薬や除草剤を散布している農家がたくさんいる。この状況は、地元のビジネスの利害と公衆衛生の懸念との間で本当に政治的な競争があるように感じる。