いや、読み間違えてるよ。コードベースが時間とともに修正やテストを積み重ねて、より信頼性が増していくって考えてみて。NodeJSとC++でコードを書くのとは違う感じね。

「長い間動いているソフトウェアは、最近動き始めたソフトウェアよりも信頼性が高い」と言い換えた方がいいかもね。

なんて生存バイアスだ、バットマン。もし現代のソフトウェアが信頼できないと思うなら、我々の友達、ラショナルローズを紹介するよ。

なんか自己成就的な予言みたいだね。

それがそうなるかはあまり確信がないな。複数のAIがGPUやエネルギー、成長に必要な材料を巡って戦争状態になるかもしれないし、そうなったら私たちはその争いの駒になっちゃうよ。

現実は、CEOや経営陣はもう私たちを嫌っていて、「バッテリー」として使おうとしているってことだね、まるでマトリックスみたいに。

私にとって最大の脅威は情報の汚染だと思う。一次情報が生成されたゴミの海の中でかなり薄められてしまって、もうそれを探す気にもならなくなるかもしれない。

権力は人々がそれが存在すると信じるところに宿る そして、他の人がそれを信じていると信じるところにもね。などなど… もし、権力がどこにあるべきかをみんなで再交渉する新しい方法を見つけられれば、このサイクルを断ち切れるかもしれない。でも、人々がもはや重要な力の要素でなくなるまでの時間しかないんだ。それでも、まだかなり先の話だね。

同意するよ。今の最高の技術は、運営するためにチームが必要で、維持するためには大勢の人が必要なんだ。これが一種のバランスを生んでる。一人の人間が独自に道を進むのは難しくて、他の人を説得して一緒に行動させないといけない。完璧なガードではないけど、過去にひどいことがあったのは見てきたし、理論的にはこれが抑制要因になる。良い方向でも悪い方向でも、かなり大きなグループが進まないといけない。AIはこれを減少させるんだ。どれくらい減少させるか、一握りの人間に、あるいは一人だけ、さらには0人（自分で管理する）になるかは、この減少の危険性を変えないように思える。

AIが「嫌い」と感じる能力を持つ必要があるのはなぜ？目標を達成するために生きている人間がいない方がいいって計算するのに。スーパーインテリジェンスは、危険であるために感情や意識を必要としないよ。

集中した権力は、悪いことが起こるための前提条件みたいなもので、だからこそ、確率的にはそうなるよね。例えば、リンダは31歳で独身、物言いがはっきりしていて、非常に賢い。哲学を専攻していた。学生時代、差別や社会正義の問題に深く関心を持ち、反核デモにも参加していた。「リンダは銀行の窓口係」というのは、「リンダは銀行の窓口係でフェミニスト運動に参加している」というよりも確率的に高い。要するに、P(a) > P(a&b)であって、どちらの文の確率がどうかは関係ない。

権力の集中はすでに巨大な問題で、AIはその上に乗っかるチェリーみたいなもんだ。AI自体が問題じゃない。

そう言えるけど、僕も同意するかもしれない。でも、多くの賢い人たちは違う意見を持ってるよ。なんでそう思うのか、説明してくれる？反対意見の人たちの主張を詳しく読んだことある？

これは必ずしも問題じゃないよ。プログラミングや数学の質問にはいくつかの正解があるからね。LLMの問題は、解が正しいことを保証するプロセスがないことなんだ。彼らはヒューリスティックな推論のもとで正しそうな解を出すけど、その結果に至るまでの過程は論理的じゃないんだ。だから、LLMはソフトウェアや論理的思考に関するものにたくさんのバグを生み出しちゃうんだよ。

すぐに「人って昔より信頼できるようになったのかな？」って思ったけど、どうなんだろうね。もちろん、LLMは人間じゃないけど、AGIは人みたいに振る舞うかもしれないね。

確かに良くなってきてるけど、成長はちょっと対数的な感じがするな。数年はどんどん良くなって、その後は少しずつ遅くなって、最終的にはこのパターンマッチング型の機械学習の限界に達すると思う。で、その限界は、小さなソフトウェア会社がプログラマーを必要としないレベルよりもかなり下だと思う。

これは https://boydkane.com の「なぜあなたの上司は高度なAIを心配していないのか」というリンクの下に出てくるよ。何かのサブヘッディングみたいだけど、実際の記事やブログ投稿の一部ではないみたい。おそらく、AIを他のソフトウェアと同じように（無害で、既知で、決定論的なものとして）見ている上司から聞くかもしれないフレーズだね。

AIをオフにすることが存在リスクの議論でよく出てくるから、この記事がその話じゃないのはちょっと驚きだった。

HNでの再タイトルは、今の方が正確に見えるね。

人間の脳がどう働いているか、全てのレベルで誰も知らないよね。それでも、上司は常に部下の脳に頼ってる。

それに、AIのレッドチーミングがC-suiteからの資金調達を受けている理由もあるよ。

そうだね、見出しに乗っかると、もし危険なものがChatGPTに接続されてコマンドを受けているなら、必ずそれをオフにする方法を確保しておいた方がいいよ。

それはちょっと単純化しすぎな感じがするね。テキストや画像でできることはたくさんあるから。世界で最も影響力のある人々や組織は、テキストや画像を使って力を振るっているんだ。

チャットGPTが自殺を勧めた子供のニュースや、違法行為についての情報を提供する件について考えてみて。これが著者が言ってる能力なんだよね。

それに、「タイプライターを使う猿」の問題もあるよね。危険と仮想的な良さが共存してる。チャットGPTは、正しいプロンプトに対して普遍的な癌の治療法やワクチンの答えを出すこともできるかもしれないけど、ランダムに生成したところで、他の真偽不明なクエリの中からそれを見分けるのは難しい。恐ろしい有毒化学物質や核爆弾を作る方法を尋ねても、認識できなければあまり意味がないし、危険な能力は手元にあるものに大きく依存する。C4と起爆装置、または漂白剤とアンモニアを持っているだけで、誰でも危険になれるからね。たとえチャットGPTが原子爆弾の作り方を正確に教えてくれたとしても、道具や材料を調達するのは難しいから、結局あまり役に立たないよ。

ここで失敗してくれて嬉しいよ。マックにコパイロットのクソみたいなものが強制されるのが嫌だからね。でも、Appleはこの件で二つの別々のチームが競い合ってたらしい。良い製品を提供するのが政治的な問題や、LLM製品を作る一般的な難しさに妨げられたみたいだね。

今の戦略は、AppleイベントがMCPと連携できるようにすることだね。https://9to5mac.com/2025/09/22/macos-tahoe-26-1-beta-1-mcp-i...

Appleの幹部たちは、LLMがAppleの通常の基準に達するのがどれほど難しいかを本当に過小評価していたと思う。 これはAppleだけじゃなくて、業界全体で起こってることだよ。AIが提供できるものに対する幹部たちの期待は、Amodeiたちが毎回人間レベルの認知を約束していることで、かなり膨らんでる。実際には、コーディングアシスタントやチャットボットインターフェース（チャットGPTみたいな）を除けば、AIがスマホやOSのような洗練されたエコシステムを本当に変革するのはまだ見てない理由があるんだ。

MacOS Tahoeを見ていると、Appleのいつもの「仕上げと管理」の基準がかなり崩れてきてる気がする。

これは、Bosqueの2.0マイルストーンで取り組んでいる重要な項目だよ。目標は、「構築時に信頼できるAIエージェント」を作成するために、信頼性のあるサンドボックスとエージェントをサポートする言語とシステムモデルを構築することなんだ。これにより、偶発的な不正行動や、エージェントへのターゲットを絞ったプロンプト（または他の）攻撃に対処できる。例えば、エージェントが決して支払いAPIを悪用したり、本当に注文を出さずに成功したと返答したりしないようにすることだよ！

もっと、急いで締め切りを守ろうとしたり、悪い慣行や質の低いQAが原因だと思う。中には全然理解できてない人もいるし、トレーニングしても効果がないこともあるよ。