世界を動かす技術を、日本語で。

戦争省との合意

概要

  • OpenAIはPentagonと高度AIシステムの機密環境展開で合意
  • 他社より厳格な安全ガードレールを契約に明記
  • 3つのレッドライン(大量監視・自律兵器・高リスク自動決定)を堅持
  • クラウド限定展開とOpenAI技術者の関与で安全性を強化
  • Anthropicとの比較や契約の透明性も強調

PentagonとのAIシステム展開合意の要点

  • OpenAIPentagon (Department of War, DoW)と機密環境での 高度AIシステム展開 に合意
  • 全AI企業への同条件適用 を要請、協調姿勢
  • Anthropic 含む他社契約よりも 厳しい安全ガードレール を導入

3つのレッドライン

  • OpenAI技術の大量国内監視 への利用禁止
  • 自律兵器システムの直接制御 への利用禁止
  • 社会信用など高リスク自動意思決定 への利用禁止

他AIラボとの比較

  • 他社は ガードレールを緩和 し、主に 使用規定 に依存
  • OpenAIは 多層的な安全対策 を導入
    • 安全スタック の独自裁量保持
    • クラウド限定展開
    • OpenAI認定技術者 の現場関与
    • 強力な契約上の保護条項

契約内容の詳細

  • クラウドのみ展開、エッジデバイス展開なし
  • 安全スタック の維持と独立検証体制
  • 自律兵器・大量監視 に関する明確な禁止条項
  • 米国法令(DoD指令3000.09等) への準拠
  • プライバシー保護 (米国憲法修正4条等)を遵守
  • 国内法執行利用 も厳しく制限

OpenAI技術者の関与

  • 現場配備のOpenAIエンジニア によるサポート
  • 安全・アライメント研究者 が運用に継続的関与

合意の背景と目的

  • 米軍のAI活用の必要性国際的脅威 への対応
  • 安全対策が不十分な段階では契約拒否、準備期間を経て安全策を確立
  • 国家安全保障とAI研究所間の連携強化 を目指す
  • 全AIラボに同条件適用 を政府に要請、Anthropicとの対立緩和を希望

Anthropicとの違い・比較

  • OpenAI契約はクラウド限定・安全スタック維持 でより強固な保護
  • Anthropicが合意できなかった理由は不明、今後の参加を期待

サプライチェーンリスク指定について

  • Anthropicをサプライチェーンリスクと見なすべきでない との立場を政府に表明

自律兵器・大量監視への懸念と回答

  • 自律兵器への利用不可能 (クラウド限定・安全スタック・契約条項・現行法規による担保)
  • 大量監視への利用不可能 (契約・安全スタック・法令遵守・OpenAI人材の関与で担保)

安全スタックの維持

  • OpenAIは安全スタックの完全制御を保持
  • 安全・アライメント研究者 が継続的に改善

契約違反・法令変更時の対応

  • 契約違反時は契約解除が可能
  • 法令・DoW方針変更時も現行基準に準拠 するよう契約で明記

Anthropicの懸念への対応

  • 大量国内監視は違法・契約で明確禁止
  • 自律兵器はクラウド展開で技術的に不可能
  • OpenAI技術者・安全スタックによる多層防御

Hackerたちの意見

なんか微妙じゃない?ちょっと曖昧な言い回しだと思うけど。OpenAIが自律武器の使用を禁止してるわけじゃなくて、法律や規則、部門の方針に従った使用が求められてるだけだよね。「国防省は、適用される法律、運用要件、確立された安全および監視プロトコルに従って、AIシステムをすべての合法的な目的で使用することができる。法律、規則、または部門の方針が人間の管理を要求する場合には、自律武器を独立して指揮するためにAIシステムを使用しないし、同じ権限の下で人間の意思決定者の承認が必要な他の高リスクな決定を引き受けるためにも使用しない。」ここに同じことが続いてるね。国防省がOpenAIと契約したのは、Anthropicじゃなくて理由があるよね。法律が不十分だってわかってるのに、道徳を法律に委ねるのは「良くないこと」だと思う。「情報活動に関しては、プライベート情報の取り扱いは、第四修正、1947年の国家安全保障法、1978年の外国情報監視法、行政命令12333、そして定義された外国情報目的を要求する国防省の指令に従うものとする。AIシステムは、これらの権限に従って、米国人のプライベート情報を無制限に監視するためには使用されない。また、ポッセ・コミタタス法や他の適用法で許可されている場合を除き、国内法執行活動にも使用されない。」

その通りだね、無法な政権に合法的な目的や方針を決めさせてる。人間の承認って、結局は「はい」ボタンを押すだけのことになるんじゃない?ガザの爆撃でイスラエルの軍人たちがやったみたいに。

OpenAI: 「道徳をAIには不十分な法律に委ねて、私たちの道徳的責任を免れようとしてる。」

国防省は、適用される法律、運用要件、確立された安全および監視プロトコルに従って、AIシステムをすべての合法的な目的で使用することができる。法律、規則、または部門の方針が人間の管理を要求する場合には、自律武器を独立して指揮するためにAIシステムを使用しないし、同じ権限の下で人間の意思決定者の承認が必要な他の高リスクな決定を引き受けるためにも使用しない。国防省の指令3000.09(2023年1月25日付)によれば、自律および半自律システムにおけるAIの使用は、展開前に現実的な環境で意図した通りに機能することを保証するために、厳格な検証、妥当性確認、テストを経なければならない。強調された言葉は、OpenAIが同意したこととAnthropicが望んでいたことの違いだね。OpenAIは、米国政府が合法であれば何でもできるという要求に応じた。Anthropicは、自社製品の使用に自分たちの道徳を押し付けたかった。個人的には両方に同意できるし、Anthropicに対する政府の態度はひどくて、悪意があって、最終的には米国の利益に損害を与えたと思う。

その言い回しは、> OpenAIの技術を自律武器システムの指揮に使ってはいけない とは一致してないね。

いや、これは非常に狡猾で悪質だよ。行政機関が合法だと考えることが、ここでの本当の合意なんだ。トランプは何でも合法だと言えるし、それで終わり。司法の監視もないし、被害を受けている人たちの権利を守る弁護士もいない。トランプはペンタゴンに「ミネソタの全員は潜在的な反乱者だから、愛国者法と反乱法の下で監視しろ」って言える。大量監視には令状が必要ないから、彼らはそれを望んでるんだ。それが「大量」ってこと。令状があると司法の監視が入るからね。Anthropicは、裁判所(FISA裁判所でも!)が令状を出した場合の監視には反対してなかった。トランプはFISA裁判所を通ることすら望んでない。これはサム・アルトマンからの純粋な悪だね。誰かこの人たちの名前を記録してる人いるのかな?忘れ去られるのは嫌だな。アルトマンからザッカーバーグまで、もし正義が勝てば、彼らは報復を受けることになるだろう。

アメリカには自律武器に人間の管理を求める法律ってあるの?それって矛盾してない?

彼らの解決策は、海で失われた戦闘員を撃つことを推奨できるの?これは重要だよ。戦争犯罪の教科書的な例だからね。現政権が何度も自慢してきたことでもあるし。要するに、ここで何が合法かを決めるのは誰なの?OpenAI、国防長官、あるいは裁判官?

ちょっと待って、その契約の一つにはターミネーターを作ってはいけないって書いてある。他の一つには、国防総省の弁護士が大丈夫と言えばターミネーターを作ってもいいって書いてある。これは大きな違いだね。

アメリカ軍は公式に、国際水域での民間人に対する違法な超法規的暗殺を数ヶ月間行ってきた。私たちは、アメリカと国際法に反してジェノサイドを行っているイスラエルに技術や武器を提供している。今、イランに対してもアメリカと国際法に違反する戦争を行っている。こうした勢力に対する援助は、その無法を助長するもので、法治国家の概念を軽視していることを示している。OpenAIが「軍は合法的に行動できる」と言うとき、この軍が形式的な合法性にすら興味がないことを知っているのに、どうしてあなたがこれらの決定に「同意している」と思うのか疑問だよ。他の生活の側面でも、薄っぺらな嘘を信じてるの?

OpenAIは、アメリカ政府が合法的に何でもできるという要求に応じた。Anthropicは、自社の製品の使用に自分たちの道徳を押し付けたかったんだ。「成功率が高いとは言えないことに対して、誰かに製品を売らない」というのがAnthropicの道徳だとしたらどうなる?政府は、文字通り不可能なこと(例えば、暗号の「安全な」バックドア)をすることはできないけど、失敗が予測されていても試みることは合法なんだ。ここで何が起こっているかは分からないけど、そういうシナリオを区別するのに十分な証拠を提供していないから、事実として言うのはかなり誤解を招くよ。

「合法」という言葉がすごく重要な役割を果たしてる。政府が公然と行っている数え切れないほどの違法行為を考えるとね。機密の閉ざされた場所で何が起こっているのか?政府が常に違法なことをしているなら、彼らが法律を守るとは信じられないという道徳的立場と考えることもできるね。Anthropicがそう言ったわけではないけど、私が受け取っている要点はそんな感じだよ。

このサガを完全には追ってないけど、彼らの「自分たちの道徳を押し付ける」ってのは、「私たちのAIが無監視で殺戮を繰り返すのを許したくない」ってことじゃないの?

この言葉は、国防総省が合法だと見なすものに対してモデルを使用することを許可している。注意深く読んでみて。最初は「戦争省はAIシステムをすべての合法的な目的に使用できる…」と始まり、そこに制限はない。むしろ、DOWが今日合法だと考えることを説明していて、規制を変更することを許可している。ダリオが言ったように、これは言葉遊びの法的表現で、この政権は法的な言葉を利用するのが得意で、民間人をボートで殺したり、都市に部隊を送ったり、州の投票用紙を押収したり、発言のために移民を追放したりすることがある。サム・アルトマンは愚か者か、私たちが愚かだと思っているかのどちらかだね。

自分で法律を作れる権限を持つ存在が「すべての合法的な目的のために」何かを使えると言うのは、結局は何にでも使えるってことだよね。

ちょっと厄介だね。大規模な監視の場合、彼らは自分たちの法律を作ることができないから、法律を作って、アメリカの州の3分の2が憲法改正にサインしないといけないんだ。誰かが法律を破ろうとしてるのを知りながら手助けするのは、法律を破る共謀になる。OpenAIは責任があるよ。政府を訴えることは多くの場合できないけど、OpenAIには訴えられるからね。

その通り。彼らは自分たちのルールを作るだけでなく、それを秘密裏に効果的に起草・施行できるんだよね。

有罪の詐欺師の言葉を信じられないってこと?

なんて驚くことじゃないんだろう。結局、会社の決定に対して力を持ってないのに、従業員として道徳的な立場を取るのは無意味だよね。唯一の力は辞めることだけ。どれくらいの人が辞めるのかな?それとも、サムのAIが書いた言い訳を自分のものとして受け入れて、異常な給料を取り続ける人が多いのかな…。

唯一の力は辞めることだけ。これを大勢で行使すれば、すごい力になるよね。

唯一の力は辞めることだけ。従業員はしばしばオーナーを追い出して会社を乗っ取る力を持っているし、もっと言えばビジネスを止める力も持っている。もちろん、強い労働組合と団結の文化が必要だけど、OpenAIのような場所ではそれは難しいだろうね。

この件ではもう手遅れかもしれないけど、これは労働組合のためのものだよ。サム・アルトマンと数人のスカブが、エンジニアたちがこの決定が覆るまで働くのを拒否したら、OpenAIの電気をつけ続けることはできないからね(もっと良いのは、そもそもその決定がされないことだけど、労働組合がそのプロセスの一部になるから)。

OpenAIの社員たちは、2年前に取締役会から追放されたサム・アルトマンを再任させる力を持っていたんだ。

これらのコミュニケーションは、観客をバカにしているように感じるから不快だよ。正直に企業のアイデンティティを語るのは最適じゃないのかな。従業員にとって重要な認知的不協和の道具かもしれないね。独裁政権が明らかな嘘を何度も繰り返すのと似てる。現実から逃げたい人に選択肢を与えてるんだ。

利益を上げているSaaSの隠れCEOとして。これは私の会社がOpenAIとの関係を縮小する良いリマインダーだね。アンソロピックが最終的に悪に変わるのは間違いないけど、少なくとも今はしっかりしてる。さようなら、サム。追記:国防総省を「戦争省」と呼ぶのはダサい。

ローカル推論の方がいいかもしれないね。

このブログ記事は、Anthropicが反対していた疑わしい使い方への参加を明確に拒否しているわけではないから、あまり良く聞こえないね。単に合法である必要があり、テストされる必要がある。これは、1930年代にIBMがドイツに集計機を売り、その使用についての知識を軽視していたのを思い出させる。彼らは、軍が常に求めている自律兵器や大規模監視に使わないと無邪気に信じさせたいみたいだ。さらに、法律的には問題ないけど道徳的にはグレーな領域のもっと平凡な使い方もありそうだね。

Anthropicが決して非倫理的なことをしない聖人だとは思わないよ。ChatGPTが特に良いとも悪いとも思わない。ただ、今の時点でChatGPTをキャンセルしてClaudeを試すことが、私が送りたいメッセージを送ることになるから、そうしたんだ。

それに、Claudeは今のところChatGPTよりもずっと良いっていうおまけもあるしね。

これらの企業に対して、私たちが動く意志があることを示すのも良いことだよ。もしこれらの企業が、全ユーザーが最初の論争でさっさと移動することを知っていたら、論争は起こらないだろうね。

Anthropicが決して倫理的に何かをしない聖人だとは思わない。ChatGPTも特に良いとも悪いとも思わない。長期的には、オープンウェイトモデルが最良だと思うし、Anthropicがここでやったことをする企業はほんの一部だと思う。彼らには折れないようにかなりの圧力があったはずだけど、彼らはそれに屈しなかった。だから、私は少なくとも何かをして、企業に人々がこういうことを気にしていると示したいと思ってる。無条件の道徳を持つことが大事で、どんな値段でも売り物じゃないと思う。Anthropicとは意見の不一致もあるけど、オープンモデルについての考え方に関しても意見があるけど、全体的にはOpenAIよりも信頼できると思う。ただ、良いGPUがないから、私もChatGPTの使用をやめて、他の人たちがやってるようにClaudeや(Kimi?)を使うつもりだよ。これが今後の道かもしれないね。

コーディング以外のタスクに対するClaudeの使い勝手はどう? 例えば、レシピや電話のレビューみたいなちょっとした質問のGoogleの代わりに使う感じ。マジで聞いてるんだけど、もし良ければ参考にしたいな。

情報活動に関して、個人情報の取り扱いは、第四修正、1947年の国家安全保障法、1978年の外国情報監視法、行政命令12333、および定義された外国情報目的を要求する適用される国防総省の指令に従うものとします。このAIシステムは、これらの権限に従って、米国人の個人情報を無制限に監視するために使用されることはありません。また、ポッセ・コミタタス法やその他の適用法により許可されている場合を除き、国内の法執行活動にも使用されません。私の読み解きでは、OpenAIとペンタゴンの契約は、米国市民の大規模監視を法律で禁止されている範囲内でのみ禁止しているということです。例えば、これは、国防省が民間企業から米国市民のデータを大量に取得できることを示唆していると思います。具体的には、詳細な位置情報や金融取引データなどです。そして、そのデータにOpenAIのツールを適用して、米国市民を大規模に監視したりターゲットにしたりすることができるということです。私の理解では、これはAnthropicの契約とは異なるようです。もし私が正しければ、これはひどいことです。ただ、ここ数日で多くの誤った結論に飛びついてしまったので、今は判断を控えて、もっと信頼できる説明が出てくることを期待しています。(開示:私は元OpenAIの社員で、現在は株主です。)

発言してくれてありがとう。私も同じように解釈してるよ、下に書いた通り。これは、OpenAIが言っていることや、彼らが誇っている契約上の「安全策」に対する「合法的な使用」の単なる甘い言い回しに過ぎない。

OpenAI、元々は非営利団体で、CEOを解雇しようとした理事会があったけど、今は全然オープンじゃないし、倫理についてもあまり関係ないよね。個人的なレベルでも、OpenAIはプライバシーポリシーを2回変更して、以前は集めていなかった私のデータを集めるようになった。毎回無効にするのにたくさんの手順があって、ダークパターンが多いし、データチェックアウトもバグってる。これは、彼らが私が入力したすべての情報をどれだけ使っているかを隠すための偽の機能だよ。

その通りで、これがダリオが言っていることだよ。彼は昨夜のインタビューでこのシナリオを指摘している: https://youtu.be/MPTNHrq_4LU

そのままの意味だよ。制限はすでに法律で決まってるものだけ。これ、ダリオが言ってた言葉遊びみたいだね。

その監視がすでに法律で禁止されている範囲内で。政府契約で「違法なことはできない」と言っても、結局は彼らが「何が合法か」を決めるんだよね。政府に異議を唱えられるシステムに住んでるのは幸運だけど、どちらの立場にいても、みんなその機能を壊そうとしてると思ってるよね(誰がそれをやってるかで意見が分かれるけどさ)。それがまさにダリオが主張してたことだし、DODがそれを回避したかった理由でもある。彼らはClaudeを合法的な目的で使いたかったけど、Anthropicは道徳的理由を挙げた。OpenAIのレッドラインの微妙な言い回しにも注目してみて。「OpenAIの技術を大規模な国内監視に使うことはできません。」インターネット上の普通のコミュニケーションが国際的な境界を越えることが多いから、NSAがこれをどう悪用したかはもう見てきたよね。そして、彼らがそうできなかったことは、アメリカ市民を監視できる同盟国を通じて回避したんだと思う。合法性と道徳性はイコールじゃないってことを忘れない方がいい。これは道徳を形式化しようとする試みだけど、みんながそれを回避するのがどれほど簡単か見てると思う。> 私はこれが、DoWが民間企業からアメリカ市民のデータを大量に調達できることを示唆していると思う。 - 上院にこの件についての法案があるから、あなたの上院議員に連絡してみて。ここにEFFの見解があるよ [1]。個人的には完璧からは程遠いけど、重要な一歩だと思う。これについてもっと話すべきだと思う。私も問題があるけど、ここに何かがあって、物事が良くなるのを妨げてるわけじゃないよね? 批判するのは簡単だけど、何もしないのはもっと簡単だよね。もう10年以上議論してきたし、小さな一歩を踏み出す方が、後退するよりはマシだと思う。> もし私が正しければ、これはひどいことだね。WorldCoinのことも忘れないでおこう [2]。World(ブロックチェーン)? World Network? アルトマンには全く信頼できない。彼が人間とボットを区別するための解決策は、大規模な生体監視だよ。これはFlockのCEOやRingのCMと同じくらい無関係に思える。安全性の失敗も数え切れないし。Soraがリアルな人を生成できるようになった? いいマーケティングだね。すぐに「修正した」って言ってくれて嬉しいよ…今、いろんなことが急速に進んでるから、注意が必要だと思う。権力を分散させるシステムを開発したけど、自然と集まろうとするからね。政府の権力でも、メールプロバイダーでも。権力が大きくなればなるほど、責任も大きくなる。でも、それが最初に分散型権力システムを作った理由じゃない? 個人的には、一人か少数の人の管理下にある自律的で無条件に殺すロボットは欲しくない。今管理している人がサイコパスじゃないと信じていなくても(--)、そういう人が権力を握る可能性があることには同意できるでしょ。権力は腐敗する。誰かを殺すことのようなことは、感情的に難しいべきだ。それは欠陥じゃなくて、機能なんだ。命令に疑問を持つ兵士は機能であって、欠陥じゃない。権力を集中させることで、感情を持たない人にその権力を渡すリスクがある。私たちはターンキーの専制政治をより危険にしている [0]、法律は自然言語から正式なシステムを作るための最善の試みかもしれないけど、話がそれちゃったね [1] https://www.eff.org/deeplinks/2024/04/fourth-amendment-not-s... [2] https://en.wikipedia.org/wiki/World(blockchain)

NSA関連の活動や政府の越権行為が、公式から「合法」だとされるメモと共に来ることをみんな見落としがちだよね。

非アメリカ人として、サマの発言には全く慰めを感じないよ(あの蛇が言った言葉を一つでも信じてたとしても、信じてないけど)。

つまり、ネットの公共フォーラムを探って思想犯罪の証拠を探すのは、全然問題ないってことだよね。トランプ政権は、こういうツールを使って政治的な敵や好ましくない人たちのリストを作るだろうし、それを使って人を嫌がらせしたり、個人の権利を選択的に制限したりするんだ。もうすでにやってるし、これでますますやりやすくなるよ。