テキストでも画像でも、コンピュータにとってはただのビットなんだよね。トークンは何でも表現できる。

人工的な理解を可能にする新しい科学が開発されるまで、「AGIの解放」はないだろう。理解は、私たちが何であるかを生み出す豊穣な源で、原始的な刺激から、無限に複雑なダイナミクスの中で、非常に高度な捕食者/被捕食者のキャラクターがいる全体的なコミュニケーション宇宙が生成される。人間の科学と技術は、それを同時に統一された全体として人工的に理解する方法を全く持っていない。それが理解なんだ。

少なくともThinking Machinesよりはずっと正当だね。でも「見てみよう」。世界モデルとビジョンはロボティクスにとって素晴らしいユースケースだと思うし、それがAMIの主要な推進力になるのを想像できる。

この見解は理解できないな。私が見る限り、AGIの根本的なボトルネックは継続的な学習とバックプロパゲーションだと思う。今のモデルは静的で、人間の脳はバックプロパゲーションに近い方法で学習したり適応したりしない。世界モデルはこれらの問題を解決するわけじゃないし、私たちが普段使っている深層学習アーキテクチャと基本的に同じなんだ。もし、世界そのものから学ぶことがボトルネックだと思うなら、ロボティクスやシミュレーションされた体にビジョンアクションのLLMを乗せて強化学習のループを回せばいいんだよ。

なぜLLM（マルチモーダルなトークンシーケンスで訓練されたトランスフォーマー）が世界モデルになれないの？

「本当に新しい発見や発明」っていう概念にちょっとイライラしてるんだけど、君はこれをどう思う？「本当に新しい」発見や発明を指摘できる？新しい元素みたいな物理的なものを発見することを言ってるならまだ分かるけど。人間はアイデアのリミキサーなんだよね。私たちがやってることはそれだけ。私たちの考えや行動は環境や記憶に影響されてるし、すべては既存のパーツから作られている必要があるんだ。

LLMって言葉が君のポイントを混乱させてるよ、YannによるとVLMは同じカテゴリーに属してるから。代わりに自己回帰モデルって言葉を使った方がいいかも。

人間の知識の総和は、革新的なアイデアを生み出すには十分すぎるくらいだし、すべての分野が物理的な世界と直接関わっているわけじゃないよね。それでも、書かれた歴史には、物理法則が適用される3D世界の仮想シミュレーションを作るのに十分な情報があると思う（計算には限界があるから、ある程度だけど）。今のLLMに足りないのは、自分から何かを作り出そうとする内なるモチベーションだと思う。自由な時間に考えたり（バッチ処理やオンデマンド処理がどういう意味かは別として）、反省したり学んだり、最終的には自己修正したりすることだね。俺は単純な脳みそで、知識も限られてるし、集中力も短いし、文脈を覚えておくのも難しい。でも、オンラインで見たり読んだりしたことを基に何かを作り出してる。特別なことじゃないけど、他の誰かのプロジェクトに基づくこともあれば、自分のアイデアに基づくこともある。8億人の中でそんなにユニークじゃないって自信あるけど、AIと相談することで、今の自分の目指しているビジョンに役立つアイデアが増えるんだ。もちろん、ほとんどは一般的に知られている（俺にとっては必ずしも知られてない）良い実践に基づいてるけど、俺の考えも同じように、今までの人生でゆっくり学んできたことに限られてる。

シンガポールに拠点を設立しているという他のニュース記事もあるみたいだね。 https://www.straitstimes.com/business/ai-godfather-raises-1-...

彼が誰かよく知らなかったから、ウィキペディアを見つけてみたんだけど、彼が自分のために書いたか、彼を好きな誰かが自分を持ち上げるために書いたみたいな内容だった。 > 彼はニューヨーク大学のコーラント数学科学研究所のコンピュータサイエンスのジェイコブ・T・シュワルツ教授です。MetaプラットフォームのチーフAIサイエンティストを務めた後、自分のスタートアップに移ったんだ。このMetaでの彼の業績についての部分を除けば、その文は全部削除されてもよかったと思う。著名な誰かと自分を比較するのは変だよね。これって、最もカニエ・ウェスト的な行動だよ。彼について読むほど、実際に自己中心的だってことが分かってきた。自己中心的な人と真剣なエンジニアリングチームを持つのは難しいだろうね。