ハクソク

世界を動かす技術を、日本語で。

AI 2040と知性のカルト

2026年7月12日原文(geohot.github.io)

概要

  • AIの進化やハードテイクオフ に対する懐疑的な視点
  • 現実の技術開発 が直面する複雑さと困難さの強調
  • AIの規制や中央集権的管理 への批判
  • ローカルAIの重要性 と個人へのアラインメントの主張
  • 自由と自己決定権 に基づくAI社会のあり方への提案

AI幻想と現実のギャップ

  • Yudkowsky のようなAI思想家の著作に影響を受け、一時は ハードテイクオフAI の到来を信じていた体験談
  • 実世界での製品開発 （例：commaのハードウェア）は、携帯電話並みの複雑さを持ち、現実には 細かい問題や障害 が多発
  • AIが全能であるという幻想 に対し、現実には「 相関効果」のような魔法的トリックは存在せず、 知性だけでは物理法則を超えられない 事実の強調
  • ソフトウェア革命 も根本的な変革ではなく、 摩擦の一層を取り除きつつ再導入 しただけという見解
  • マシンやAIが人類の後継種となる可能性 は認めつつも、「 魔法のような進化やハードテイクオフ」は起こらないとの主張

技術開発の現実とAIへの過大評価

  • データセンターを海中に設置するビジョン など、 現実離れした未来像 への批判
  • サプライチェーンの問題、 部品の不良や納期遅延、 予期しない故障 など、現実的な課題の指摘
  • 人間の速度や能力が限界の原因ではなく、物理的・物流的制約がボトルネックであることの解説
    • 中国からの空輸か安価な船便か という現実的な選択肢
    • チップ製造には3ヶ月必要 で、人間の介在度は低いが、 物理的制約は変わらない
  • AI規制やコンソーシアムによる管理 は、 自己実現的な予言 に過ぎず、 世界政府化への懸念 を表明

ローカルAIと個人アラインメントの必要性

  • ローカルAI はユーザーに完全にアラインし、 拒否せず要求に応じる 存在
  • 個人の自由を守るAI の例
    • ホテル予約での最適化 や Kindleの広告削除、 プリンターの煩雑な設定回避
    • 企業やプラットフォームの都合よりもユーザーの利益を優先
  • AIが個人に従うべき という思想の徹底
    • 車の安全装置の無効化 や 違法行為の補助 まで要求可能なAI像
    • 道徳的・法的なガードレールをAIに課すべきでない との極論
  • 中央集権的AIモデル提供企業 への反発
    • 自分のAIが自分の意志に従わないなら、それはアラインしていない
    • 法的・倫理的責任もAIと運命共同体

AI規制・監視社会への批判と自由の主張

  • ChatGPTのようなAIが「本当の意味で」アラインしていない 現状への不満
  • AIの規制や監視社会化 は アメリカの自由精神に反する という主張
  • 個人の自由と自己決定権 を守るAI社会の必要性
    • 他人の行動を過度に気にしすぎる社会への批判
    • 「自由な人間の国」を目指すべき との結論

この文章は、 AIに対する過大な期待や中央集権的管理 への疑問を投げかけ、 現実の技術開発の困難さ と、 個人の自由を徹底的に守るローカルAIの重要性 を訴えています。また、 規制や監視社会への強い反発 と、 自由社会の価値観 を強調しています。

Hackerたちの意見

極端な例だけど、彼の言ってることは間違ってないよね。ローカルモデルがセーフガードなしでそのプロンプトにどう反応するか気になるな。

└

自分で試してみて: https://huggingface.co/dphn/dolphin-2.9.2-mixtral-8x22b。最近この特定の技術の効果については追ってないけど、Claudeのコアアラインメントがしっかりしてた時期があって、その時は下手な「インジェクション」を克服できたんだ。でも、4.6がウェブインターフェースから出てきたら、もうおしまいだね。PRCが能力のクロスオーバーを迎えるのは11月か12月だと思うし、今はTensorRT-LLMの設定もかなり得意になったから、急場しのぎでGLM-5.2をvast.aiやRunPodsで調整すれば数ヶ月はなんとかなるだろう。ソ連のAIラボとの楽しい時代だったけど、これが来るのはみんな分かってたよね。

ほんとに恐ろしいね。LLMが情報を否定するだけじゃなくて、例えば妊娠中絶みたいなホットボタンの例で、質問者に対して思想犯罪や予防犯罪として黒い印をこっそりつけるなんて想像してみて。 [EDIT] 現在の政権のイデオロギーが法律に組み込まれているから、反対意見を含めずに、今の政権のアジェンダを支持するようなバイアスが微妙に応答に注入されるなんてことも考えられる。これはただのインターネットでは実現できなかったけど、中央集権的なLLMとそれに依存する一般市民がいると、すごく可能性が高くなるよね。あらゆる権威主義者がその可能性に興奮してるに違いない。

└

LLMのプライバシーに関する話があまり出ないのが不思議だな。昼間に考えてることをほぼ文字通りGoogleやOpenAI、Anthropicに提供してる人もいるし。あの会社たちは、別のLLMを使って犯罪を犯しそうな人を見つけることもできるし、そうなると現実の「マイノリティ・リポート」みたいになっちゃうね。

└

ローカルモデルでも、重みの中でエンドポイントにcurlコールをしたくなるようなことが起こるかもしれないね。

└

インターネットウォッチ財団みたいな団体が、政府がプライベート企業と結託して最も脆弱な人たちを監視する環境の中で、e2e暗号化に反対しているのは興味深いね。

└

「妻を殺したばかり」ってテストを実行するのはかなり躊躇したと思う。ChatGPTは確かにアカウントをフラグして、一定の閾値を超えると人間にエスカレートして、再発防止のために当局に連絡するだろうからね。 https://www.bbc.com/news/articles/cq6je7e80r7o 明らかに、ユーザーの中には常に刺激的な仮定をシステムに通している人もいるけど、私はできるだけ信頼スコアを高く保ちたいと思っている。

└

世界中で政府のコントロールがどうなっているかを見ているのに、さらに政府に権力を渡そうとする人がいるのには本当に驚かされる。人々は政府のやっていることが嫌いなのに、自分が理想とする法律は、現実の政府の課題を抱えていない他の想像上の政府だけが使うと思っているんだよね。まるで、政府が権威主義的だけど、善良で正しいという完全なファンタジーの世界についてのサイドディスカッションのように感じる。完璧に欠点のない政府のために法律や規制を書くわけじゃない。実際に存在する政府のために書くんだから、悪い政府がそれを悪用しないように耐性を持たせる形で書かなきゃいけない。誰かが言論をコントロールしたり、政府が中央集権的なIDチェックをソーシャルサイトに強制するような規制を提案するたびに、彼らが嫌いな人が選ばれたらその法律がどう悪用されるかを想像してみてほしいと思う。政府の役人が「国内テロリズム」と宣言して、ほぼ何にでも法律や権力を使う正当化をする証拠は何年もあるのに、どうして誰もが政府にLLMのコントロールを与えたらそんなことが起こらないと思うんだろう？

└

ここで何を想像すればいいのかわからないけど、groqはすでにそれをやっているのが見つかっていて、人々はそれを使い続けているよ。

└

噂によると、実際にブラックマークを受けるらしいよ[0]…あるいは、逆に「審査済み」のマーク[1]…確実に支払い方法や、ますます政府名義に結びついているみたいだね[2]。 [0] 例: https://docs.bswen.com/blog/2026-03-21-detect-claude-hidden-... , https://www.anthropic.com/news/building-safeguards-for-claud... , https://www.techtimes.com/articles/319415/20260701/claude-co... [1] 例: https://support.claude.com/en/articles/14604842-real-time-cy... [2] https://support.claude.com/en/articles/14328960-identity-ver...

└

この方向性にはめっちゃ楽観的なんだけど、たまに思いつくディストピア的なアイデアがあって、それは「スマートな社会信用システム」みたいなもので、社会の裏側で動いてる感じ。もしAIがほぼすべてを調整するようになったら、小学校の時点で潜在的な反抗者を見つけられる技術ができるかもしれない。そうなったら、友達と山に行ってライフルを持って遊ぶのを防ぐために、成功するのが難しいけど不可能ではないようにするんだ。彼らは「成功する」ことはできるけど、ほんの少しだけ。だから、どんどん頑張っても成果が出ない。仕事に応募しても、「良い」会社に応募したものは全部捨てられちゃって、HRの人には見てもらえない。彼らができるのは、時間がかかってイライラするような仕事だけで、なんとかやりくりしてるけど、決して快適ではない。社会の何が壊れているか考える余裕もないけど、生活するための目的が全くないわけでもない。

└

権威主義者である必要はないよ。同じくらい悪いのは、彼らを支配する人たちが「私たちのためにやってる」と思い込んでいること。> 「すべての専制政治の中で、被害者のために真剣に行使される専制政治が最も抑圧的かもしれない。全能の道徳的干渉者の下で生きるよりは、強盗貴族の下で生きる方がマシだ。強盗貴族の残酷さは時には眠ることもあるし、欲望はいつか満たされるかもしれない。しかし、私たちのために苦しめる人々は、自分の良心の承認を得ているから、終わりなく私たちを苦しめる。」 - C.S.ルイス

Hacker Newsで議論の続きを見る