そうそう、似たようなコンセプトだね！ただ、計算やスケーリングのスペクトルの真逆に位置してるけど。 - あの森の小道の世界は約500万パラメータで、15分の動画でトレーニングされて、5年前のiPhoneで20年前のAPI（WebGL GPGPU、つまりOpenGLフラグメントシェーダー）で動くようにスコープされてるんだ。私が知ってる中で最小の「3D」ワールドモデルだよ。 - 一方、Genie 3は（おそらく）約1000億パラメータで、何百万時間もの動画でトレーニングされて、複数のTPUで動いてる。もしこれが一般に公開されている中で最大規模のワールドモデルじゃなかったら、驚くよ。中間規模のワールドモデルもたくさん開発されてるし（例：LingBot-World https://github.com/robbyant/lingbot-world、Waypoint 1 https://huggingface.co/blog/waypoint-1）、1年か2年以内に、ゲーミングGPUでGenieクオリティのものが遊べるようになると思う。

…それから、リビングの中の空気圧装置。

これって結局、動画から推測した「雰囲気シミュレーション」じゃないの？表面的なビジュアルリアリズムは一つのことだけど、ボートを見てるだけでセーリングの正確な物理メカニクスを理解して、それをゲーム化する形に抽象化するのは全く別の話だよね。

どんな規模のゲームでも、常に「良いかどうか」がボトルネックになる。良いゲームを出さない小さなインディーもたくさんいるし、世界モデルがゲームデザインや楽しさを改善するとは思えない。もし間違ってたら、楽しいゲームが大量に供給されて需要が完全に飽和し、インディーゲーム開発者が目立つのがさらに難しくなるだけだと思う。

とても印象的な技術だけど、他の生成AIと同じ制約があるよね：不一致、不正確な物理、時間の制限、遅延、ものすごく高価な計算。セーリングシミュレーターを作ることはできるかもしれないけど、10分後には水の上を歩いてたり、風呂の中にいたりするかも。それに、小さなフェリーよりも多くの電力を使うだろうし。この技術がPS5やそれに近いもの上で動くとは思えない。

正直、サンフィッシュを手に入れるのは「セーリングの練習」をしたいなら、VRヘッドセットより安いかもね。

もしこれらのシミュレーションを使ってゲームが作れるようになったら、大手スタジオには厳しい時代が来るかも。逆に、小規模な一人でやってるゲームスタジオにはチャンスが訪れるかもね。だって、ゲームを作るのが結局は十分なプロンプトを用意することになるなら（テキストのことじゃなくて、たぶん動画データベースみたいなものになると思うけど）、AIの画像生成が「一人アーティスト」にとってのルネッサンスにならなかったように、「一人ゲームスタジオ」にとってもルネッサンスになるかは疑問だよ。楽観的になりたいけど、メディア出版の状況が持つ巨大な流通の支配力を否定するのは難しいし、それは技術とは関係ないからね。

そして、小規模から一人で運営するゲームスタジオの復活の兆しかもしれないね。インディーゲームは、私の知る限り、今まで以上に盛り上がってるよ。

ほとんどの人は、コンテンツが何であれVRヘッドセットをつけるのが好きじゃないよね。結局、技術好きのニッチから抜け出せなかった。

LeCunは結果を出していなかった。彼は自分の理論やアイデアに固執し、全然進展がなかったし、今も進展してないかもしれない。LLMに関わろうとせず、既存の市場で競争することを拒んで、証明されていないアイデアや研究に全力を注いでいた。それが会社のミッションや競争力を分裂させたんだ。彼らはトップ4のAI企業の一つとしての地位を失い、今では完全に世代遅れになってしまった。これは部分的には、分裂した努力とMeta AIチーム全体の熱心な参加の欠如によるものだ。業界の最高レベルでの混乱を見れば、リーダーシップによるミッションの拡大にはあまり余裕がないことがわかる。LeCunはMetaが求めていたミッションには向いていないことをしっかり示してしまったと思う。彼は名声を比較的保ったまま逃げられたのはラッキーだね。

もっとこうじゃない？JEPAは動画を見て、「犬がドアから出てきて、郵便配達員が来て、犬は嬉しそう」と思って、次のフレームは「郵便配達員は郵便受けに向かい、犬は嬉しそうに彼の方に走る」って感じになる必要がある。それを画像/動画生成器がレンダリングしなきゃいけない。Genieは動画を見て、「このピクセルのグループがこう見えるとき、ユーザーが『ジャンプ』を押したら、次のフレームでこのようにグループを変える」と考える。Genieはフリップブックを描くアーティストなんだ。次に何が起こるかを伝えるためには、そのページを描かなきゃいけない。描かなければ、物語は存在しない。JEPAは要約を書く小説家。次に何が起こるかを伝えるためには、「車が衝突する」と書くだけでいい。歪んだ金属がどう見えるかを説明する必要はないんだ。

その通りだね。ワールドモデルが彼らのリアリティラボへの投資を救うんだ。もしリアリティラボがワールドモデルを製品化できないなら、そのプロジェクトは全部廃止すべきだと思う。

失敗は一般的に公に報告されないよね。彼らが何に投資しているか、知ってる？

ポジティブに考えよう。もし、すべての入力を入れたら、実際のシナリオをシミュレートできて、人類に役立つことができるとしたらどうなる？例えば、災害シナリオやイベント、飛行機の墜落、交通パターンとか。実際に役立つアプリケーションがたくさんあると思う。今のフレーミングはあまり好きじゃないけど、方向性は理解できる。エンジニアとしては惹かれるけど、ムスリムとしては「世界を作る」って話を聞くとすごく怖い。だけど、シナリオをシミュレートできることで、現実に非常にポジティブな効果があるかもしれないってことは分けて考えなきゃいけない。例えば、2ページや10ページのシナリオを入れて、それを再現したりシミュレートして、実際に体験できるようにすることができる。予測的なものだけじゃなくて、実際に起こったことを元に、犯罪現場をマッピングしたりもできる。結局、このパフォーマンスアートは、彼らが製品会社で、ウォールストリートにベンチマークされているからで、技術の顧客が必要だけど、同時に内部での使用法もすでにあるんだろうね。

個人的には、Google Deepmind PodcastでSIMAとジーニーが目指していることをかなりうまく説明していると思う。彼らは、AIエージェントがシミュレートされた世界で自分で学ぶことでAGIに到達する方法だと考えている。AlphaGoが膨大なシミュレーションゲームで囲碁を学んだのと似たような感じだね。

ハイブリッドアプローチがうまくいくかもしれない。ある程度標準的なゲームエンジンを使って一貫性を持たせて、この種の生成AIを短期的なレンダリングや物理シミュレーションエンジンとして使う感じで。

なんでゲームを書く手助けをするモデルを訓練してないの？Genieはゲームを作るためのものじゃないし… まあ、理由はわからないけど、これを一番上に持ってこないのが典型的なGoogleだよね、コミュニケーションが下手すぎ。物理やインタラクションをシミュレートして動的な世界を作るためのもので、その画期的な一貫性があらゆる現実のシナリオをシミュレートできるようにしてるんだ。ロボティクスやアニメーション、フィクションのモデリング、場所や歴史的な設定の探求まで。重要なのはシミュレーションなんだよ。これが彼らが作ってる理由。その他は無視していい。NvidiaのEarth 2やCosmosも同じだし（アイザックにも似てる）。ゲームやVR環境が主な目的じゃなくて、ロボット（人型じゃないものも含む、Waymoみたいな）を訓練してデータを集めることが主な目的なんだ。だからこそ、完璧な物理（正直に言うと、リアルな物理）を求めてる。シミュレーションで50%のところまで行ければ、開発コストは確実に下がるけど、「そこ」に近づくにつれてコストが急激に上がるのも認識してる。彼らが「ワールドモデル」って呼ぶのはやめてほしいし、「物理」って言葉を入れるのもやめてほしいけど、まあ、金の卵だけじゃなくてダイヤモンドも産むって言って、がんがん宣伝するのがマーケティングってもんだよね？ [0] 見た目が正しいからって、実際に正しいとは限らないよ。直感や大学の一般物理の授業と合うかもしれないけど、疑うなら本物の物理学者に聞いてみて。学士号を持ってる人でも、この物理は非現実的だって言うだろうし、ちゃんとした物理学者なら、リアルに近づくにつれて物理がどれだけ直感に反するか教えてくれるよ、量子に近づく前からね。HPCの人たちに話して、なんでスーパーコンピュータが必要なのか聞いてみなよ…ごめん、物理は観察だけじゃできないんだ。 [1] 本当に、彼らのデモページを見てみて。すごく印象的なんだけど、間違いなく、重大な物理の問題がない動画を見つけられない。あの「変形可能な雪の地形を持つ高高度オープンワールド」は、リアルな人間じゃなくてレゴラスをシミュレートしてるみたい。作品はすごいけど、リアルさには程遠いよ。 https://deepmind.google/models/genie/ [2] https://www.youtube.com/watch?v=O4ZYzbKaVyQ

なんでそれが行き止まりなの？ちゃんと説明してないじゃん。これらのモデルはインタラクションできそうに見えるし、物理モデルを再現してるみたいだよ。

1980年代初頭に子供だった頃、基本的なゲームをしたり、粗いアプリで絵を描いたりして、コンピュータで実験するのにたくさんの時間を費やしたんだ。それが楽しかった。GoogleのGenieみたいなものがあったら、もっと楽しめたと思う。進化しなくても、デモの製品は人々に価値を提供するには十分良さそうだよ。

薬物取引業者にとっては何世紀も非常に利益が出てるから、誰がその市場の一部を欲しがらないっていうの？

最初のやつは好きだったし、恐竜時代に戻るやつを誰か作ってくれたらいいな、見てみたい！

プロジェクト・ジーニーについて何か考えはある？

もしどこかに行って、1週間後に戻ったらどうなるの？

MLの人たちが、キャッシュするために明示的な表現が必要だって気づくのにこんなに時間がかかったのはまだ驚きだよ。

AIが大好きだけど、逆に人々がリアルな経験や人間関係の価値に気づくきっかけになってほしいとも思ってる。

ほとんどの人は、現実世界で特に素晴らしいものにアクセスできないんだ。それが現実の特権。人類のほとんどは、AIが彼らの好みに合わせて作り出す世界を切望するだろうね。

これを見るほど、早く実現してほしいって思う！World LabsのMarbleワールドモデルで映像制作ツールを開発中だよ。https://www.youtube.com/watch?v=wJCJYdGdpHg https://github.com/storytold/artcraft 最終的には、これがリアルタイムで一貫した表現ができるようになると思う。ブラウザで見たポケモンのデモ以来、ワールドモデルにワクワクしてるんだ。https://madebyoll.in/posts/game_emulation_via_dnn/demo/ いつか、クリエイティブなホロデッキができるよ。AIを使った即興パフォーマンスがどれだけすごいか見たことある？マジでクールだよ。未来には、目の前に世界を作り出すエンターテイナーを観ることができると思う。https://www.youtube.com/watch?v=MYH3FIFH55s （CodeMikoを見たことないなら、彼女は信じられないくらい才能のあるエンジニアでストリーマーだよ。モーションキャプチャとAIのストリームを開発してる。）

テクノロジーのキャリアを一生過ごしたから、もう全部オフにしたい気分。

これは、過密で汚染された都市に住んでいる人たちには良いと思う（正直言って、そういう場所は実際に存在するからね）。500以上のAQIの汚染から抜け出して、シミュレーションされたクリーンな世界で愛する人たちと過ごせたらいいな。10〜12時間働いて、帰るとポッドがあって（そのビルには何千ものポッドが入るかも、会社が払ってくれる）、そこに繋いで数時間リラックスする。数十年のブレークスルーがあれば、シミュレートされた睡眠もできるようになるかもしれないし、しっかり休める。起きたら工場に行って、先進国が必要とするものを作る。（マジでひどい生活だけど、そういうのを本当に望む人もいるだろうね。）

へぇ、外は青空で太陽が輝いてるね。でもちょっと怠けてるから、散歩をシミュレートできるか試してみるよ。

ちょっと意見が違うけど、想像力が欲しいならビデオモデルを作る必要はないと思う。潜在変数を全くデコードする必要もないんじゃないかな。それは良いAIモデルが意思決定をするために求められる情報理論的最適性からはかなり遠い気がする。LLMが人間が処理できるテキストを推論し、「ワールドモデル」が人間がインタラクションできるビデオを推論する理由は、まさに人間がその中に入ってデバッグできるようにするためなんだ。ジーニーの目的はビデオゲームだと思うけど、AI研究者がAIを開発するためのビデオゲームなんだよね。エンターテイメントの意味合いは、最終目標の研究の副産物みたいなもんだと思う。

それも一部だけど、もしこれらの世界から3Dモデルを取り出せたら、ゲーム開発がものすごくスピードアップするよね。

おお、ちょっと待って。これは一つの視点に過ぎないよ。「ワールドモデル」の唯一の使い道としてそれを捨てないで！まず第一に、ワールドモデルにはいろんなタイプがあるんだ。シミュレーション、動画、静的アセットなど。使い道が広範囲にわたるから、言葉の重みがあるよ。ブラウザで遊べるワールドモデルもあるし、CPUだけで推測されるものもあるよ： https://madebyoll.in/posts/game_emulation_via_dnn/ （2022年の私のお気に入り！） https://madebyoll.in/posts/world_emulation_via_dnn/ （更新版、3D）。静的アセットを生成するワールドモデルもあって、WorldLabsのMarbleみたいなもの。これらはゲーム、プレビズ、映画制作に役立つよ。 https://marble.worldlabs.ai/ 私は映画制作のためにマーブルを活用するオープンソースソフトウェアを書いたんだ（映画制作者だから、この技術はシーンの一貫性に非常に役立つ）： https://www.youtube.com/watch?v=wJCJYdGdpHg https://github.com/storytold/artcraft プレイ可能な動画指向のモデルもたくさんあって、オープンソースのものも多いし、3080以上のスペックで動くよ： https://diamond-wm.github.io/ https://github.com/Robbyant/lingbot-world 本当に「ワールドモデル」と呼ぶべきじゃないものもあるし： https://github.com/Tencent-Hunyuan/HunyuanWorld-1.0 ロボティクス訓練向けのワールドモデルもある： https://github.com/leggedrobotics/robotic_world_model Genieは厳密にはロボティクス向けじゃないんだ。

同意！みんなLLMにはワールドモデルがないって文句言ってたから、これがその答えだね。次の論理的なステップは、現実世界の映像を適切なフレームレートでエンコードして重みを埋め込むことだと思う。そうすれば想像力が grounded されるし、シミュレーションの近い未来での介入（アクション）の推論を分岐させることができる。結果を目標評価器に投げて、勝ったアクション予測をモーターに送る。タイミングを合わせるのは、単にくっつけるよりも少し手間がかかるかもしれないけど、そんなに大変じゃないはず。

でも、やっぱりクールだよね…

これはワールドモデルじゃなくて、ビデオモデルだよ。これを学び始めると、必ず下流の製品にカスケードエラーが入ってくる。データを発明することはできないからね。

AI生成の代替結果への環境マッピングがホロデッキだよ。シミュレーションの中で生きるのは派生的だから、リアルな危険の方が好きだな。

これが主観的体験を開発するための重要な要素だと思う。

LLMと同じように：シミュレーションがロボットやAIが知っておくべきすべてのコーナーケースに対応できると思う？それとも、結局は同じ問題になるんじゃないかな。エンジニアを騙すには十分なレベルで、ビジネスオペレーションを喜ばせて、実際に運用されることになって、1年か2年後にはロボットが人の手を潰したり、排水溝に踏み込んだり、奇妙なコミュニケーションのミスで屋根から落ちたりする話が出てくるんじゃないかって思う。だから、トレーニングの系譜を理解することがすごく重要だよね。「これがそれだ」ってだけじゃなくて。