「君たちの中には死ぬかもしれないが、それは私が受け入れる犠牲だ。」

そうだね、AIに何でも質問する人が増えて、彼らが言うことを信じる世界では、「うまくいかないこと」が起こる可能性がすごく大きいよね。 それを簡単に無視するなんて…驚くべきことだとは言えないな。

「今のところ順調だ」と、その男はエンパイア・ステート・ビルの20階を過ぎて落ちていきながら言った。

原子力発電所が提案されたとき、電気についても同じことが言われてたよね。 今の電気代はどうなってる？

データセンターによって生まれる需要のせいで電気代が上がるのを見てるよ。今、オフグリッドのソーラーシステムを作ってるけど、安くはない！消費者がデータセンターと電気を競う未来を考えると、将来的には安く感じるかもしれないね。

ライトの法則が続くなら、電気のメーターを測ることはないかもね。

私も同じことを思った。「この投稿は死後の手紙みたいだ」と。LLMの利用がテストや全体的な品質プロセスの向上を促進することを願ってる。もしAGIのようなものが本当に存在するなら、出力テストはまだ必要だよ。誰かがあなたのために何かをする時、その人があなたより賢いかどうかは関係ない。仕様が明確でテストされていなければ、それはただの推測と同じだからね。定義された問題がない人にはほとんど使えないAIが待ち遠しい。

これは、彼が（おそらく）考えるAIの約束についてのオルトマンのハイライトを凝縮したものです。その意味では新しいことはありません。目立つのは、あまり微妙でない再定義があることです。AGIがすぐそこにあるというわけではなく、OpenAIはすでにその先を見て何もないことを知っているような感じがします。これは、今後もっと出てくると思われる、少し冷静にさせるための公の声明の一つで、投資家の期待を再定義して、タイムラインが以前に示唆されていたよりも長くなることを伝えようとしているのだと思います。

この議論に入るのは嫌なんだけど、少ない例から学ぶことを「few-shot learning」と呼んでいて、実はGPT-3でもすでにできたことなんだよね。当時は大きなブレークスルーと考えられていたし。勾配降下法を「学習」と呼ぶからって、適切なプロンプトを使ったときのことが口語的な意味での「学習」でないわけじゃないよ。試してみて：今の最前線の推論モデルに軽いガイダンスといくつかの例を与えるだけで、かなり複雑な特定のドメインのタスクを教えられるよ。これがプロンプトエンジニアリングの本質だと思う。君はタスクの複雑さに関して区別をつけているかもしれないけど、それは全然問題ないし、もう少し正確に説明する必要があると思う。

人工知能は、育成されて教育を受けた人々のことだよ。あとはアデラールでも少し。これがその用語の唯一の科学的根拠を示す重要な洞察だと思う。すごいのは、よく作られた言語モデルが素晴らしい製品だってこと。男なら「うちの会社はインターネット全体を一つのAPIに圧縮したようなことをした」って言って満足すべきだし、その報酬を受け取ればいいのに。なぜ、地球上のすべての（経済的に登録可能な）問題を解決する特異点を発明したと自慢する必要があるの？

君が説明したことは、エージェントシステムのようなClaude Codeによって実現されているし、実際にそうなっているよ。タスクを与えると、ウェブ上のベストプラクティスを学び、君のコードベースで他の開発者が何をしているかを調べて、適応するんだ。そして、その学びをCLAUDE.mdファイルに凝縮して保存する。どの基盤のLLMが君のエージェントシステムを支えているかは関係ないよ。実際、好きな最先端モデルに入れ替えたり、自己ホストしたLLM APIにCursorを向けたりできるんだから。だから、ある意味では今のすべての高度なモデルがAGIなんだ。2023年にはGPT-4でAGIの「特異点」を超えていたし、今はAGIを社会のあらゆる角に統合する数十年にわたるプロセスを経ているんだ。それは純粋にインターフェースの問題だよ。コーディングエージェント製品は、LLMを現実世界に接続するために[web_search, exec_command, read_file, write_file, delegate_subtask, ...]ツールを使っている。他の職業は「attend_meeting」のように、はるかに複雑なインターフェースを必要とするかもしれないけど、確かにもっとエンジニアリングの努力が必要だけど、100%そのインターフェースは今後数年で必ず作られるよ。

「次のトークン予測」は気を散らすだけだよ。AIモデルの面白い部分はそこじゃない。トークン化を最後の方でシリアライザーとして考えると、オブジェクトモデルをJSONに変換するような感じで、もっと理解が深まると思う。OOPプログラムの面白い部分はJSONの中にはなくて、JSONが作成される前にメモリの中で何が起こるかにある。同じように、LLMやAlphaProteo、あるいは拡散ベースの動画モデルなどのニューラルネットモデルの面白い部分は、潜在空間で動作するステップの中にあって、これは多くの点で私たちの無意識の思考に似ている。そういう層の中で、AIモデルは現実のより深いパターンを検出していくんだ。テキストや画像、動画などの表面的なパターンよりもずっと深いところでね。また、これらのパターンは異なるモダリティが組み合わさると一般化することも多い。この潜在空間から、いくつかの異なる方法で出力を「シリアライズ」できる。テキストはその一つで、画像や動画はまた別のもの。今のところ、潜在空間はすべてを同じようにうまく扱えるほど一般的ではなくて、むしろ一つのモダリティに特化したモデルが作られていると思う。AGIへのステップは、モデルにもっと計算を投入することではなく、むしろ複数のモダリティをうまく跨ぐことが必要だと思う。特にこれらが重要だね： - Veo3レベルの物理世界モデリング（自己運転やロボティクスモデルからの教訓を取り入れるかもしれない） - 最高のLLMのシンボリック処理 - 目標指向で、目標に向かって反復する能力、Alpha*ファミリーのシステムに似ている - オプションとして：人型ロボットを含む特定のツールの使用に最適化されていること。これらすべてが同じ潜在空間に統合されれば、ほぼ人間の思考を置き換えるものができると思う。

もしアップルパイをゼロから作りたいなら、まず宇宙を発明しなきゃ。次のトークンを本当にうまく予測したいなら、まず宇宙をモデル化しなきゃ。

年を重ねるごとに、その魔法は決して失われなかった。でも、LLMを「トークン予測マシン」以上には見れないんだ。パールの「ディープラーニングはただの曲線フィッティングに過ぎない」という批判と同じで、「単なるトークン予測マシン」という批判は真実だけど、ポイントを見失ってる。AIは結局、人間に鏡を向けて、知性や意識がかなりシンプルな構成要素から生まれることを受け入れさせるんだ。深い意味で、私たちがやっていることは曲線フィッティングに過ぎない。それはT.S.エリオットの言葉を思い出させる。「…私たちの探求の終わりは、私たちが始めた場所に到達し、初めてその場所を知ることになる。」

「単なるトークン予測」というコメントは間違ってるけど、他のコメントはその理由をちゃんと説明してないと思う。次のトークン予測はAIがすることじゃなくて、その目標なんだ。サッカーは最終スコアしか見たことがないから退屈なスポーツだと言ってるようなもんだよ。LLMの重要な点は、内部で多様な複雑なアイデアを効率的かつ一貫して表現できること！これがさらなるトレーニングの素晴らしい出発点になる。今のところ、やり取りするどのLLMも純粋な次のトークン予測者ではなくて、さまざまなRLの段階を経て、実際に私たちが望むことをするようになってる。Anthropicの「回路」作業を見てると、本当にその魔法を感じる。これらのモデルが複雑で賢い内部処理/思考を持っていることがよくわかる。

Anthropicの「大規模言語モデルの思考を追跡する」についてどう思う？ [0] > 2行目を書くために、モデルは同時に2つの制約を満たさなければならなかった。「grab it」と韻を踏む必要があること、そして意味を成す必要があること（なぜ彼はニンジンをつかんだのか？）。私たちの推測では、クロードはあまり考えずに単語を一つずつ書いていて、行の終わりで韻を踏む単語を選ぶことを確認していると思った。だから、意味を持つ最終単語を確保するための回路と、韻を踏むための回路が並行しているのを期待していた。 > ところが、クロードは先を見越して計画していることがわかった。2行目を始める前に、「grab it」と韻を踏む可能性のあるトピックに合った単語を「考え始めた」。その計画を念頭に置いて、計画した単語で終わる行を書くんだ。このモデルは古いもので（クロード3.5俳句）、テスト時間の計算はない。 [0]: https://www.anthropic.com/news/tracing-thoughts-language-mod...

いつ美しい小説を生成できるか気になってる まだその時期じゃないけど、頑張ってるよ。オリジナルのアイデアをLLMから引き出すのは~~難しい~~不可能だから、たぶん常に人間の助けが必要になるだろうね。

トランスフォーマーを使った全てのTBは違いを生むね。もしかしたら俺が無知すぎるのかもしれないけど、次のトークンを生成する際に考慮される意味的なコンテキストの量が本当にすごいことになってる。