「4層のトイモデルでテストされた」それが結果にどう影響すると思う？同じアルゴリズムが小さいスケールで動いてるだけだよね。4層モデルはあまり良くないと思うけど、推論がそれを改善するの？スケールが推論の使い方に影響を与える理由はあるの？

同意！私はAIエンジニアでも研究者でもないけど、潜在空間の100Bとかのパラメータを最大1Mトークンにシリアライズするのは奇妙だなって思ってた。

「面白いけど、理想的ではないと思う。」モデルがもっと線形でなくて、潜在空間で時間をかけて処理できれば、もっと思考に近いものが得られると思う。やめて、これがAIの支配を招くんだよ。

彼らはすでに分岐思考を取り入れて、最適なものを選んでる。最終的には、全体の応答が分岐して、いくつかの指標によって分岐が生成されたり削除されたりすることになる。ただ、今はパフォーマンスの理由でそれが実現できないだけなんだ。

あなたはOPが指摘しているのと同じ間違いをしてるよ。「コンテキストを生成する」ってのは、人間の推論とも同じだと思う。例えば「これを推論してみよう」って言ったとき、すべての選択肢を詳しく探ってから判断を下すでしょ。それがAIの推論者がやってることとまったく同じに感じる。

それでも、彼らの問題解決能力は向上するんだよね。

「人間はただのLLMだよ、ブラ」っていう議論に多くの人が引っかかってるのが信じられないけど、その根本的な問題が少しわかってきた気がする。技術を「深く」研究してる人たちは、その枠組みだけで世界を見てるから、すべてがそのように機能するはずだと勘違いしちゃうんだよね。もし彼らが、例えば幼児発達などを含むもっと広い視野を持っていたら、この枠から外れた考えができて、その議論がどれだけ馬鹿げているか理解できたかもしれない。

彼らはそれをファジングモデルって呼ぶべきだね。いろんなコンテキストの反復を試して、トリップするトークンに当たるまで走り回ってるだけなんだ。

みんな、この手のことがどう機能するかの適切なアナロジーを議論するために、すごく長い道のりを行くよね。面白いとは思うけど、私の好みでは「友達とハイになる」感じかな。どう機能するかの一部はよく理解されている（実際、今はかなりの部分がね）、でも結果の一部はまだ驚きがある。だけど、よく理解されている部分も驚くべき部分も、あまり信用できないポップな認知科学の用語を借りて議論しているし、新しくて違うものに適した用語を使っていない！脳とは全然違う、新しいものなんだ。考えるのか推論するのか？誰が知ってるって、パスしてくれ。彼らはYタスクでXパフォーマンスを出す、Z評価に従ってね。理解を追求しているなら、資金集めやクリックのためじゃなくて、そうやってMLモデルの能力を議論するんだ。

でも、ここでの話題は、いくつかの技術が進歩的かどうかってことだよね（記事で言及されている非生産的な焦点についての興味深い平行線もあるし）。

その平行線には同意できないな。潜水艦は水中を移動できるけど、それを泳ぐって呼ぶかどうかは面白い質問じゃないし、潜水艦の機能を明らかにもしない。思考や推論については、正確な定義はないけど、今のところLLMや機械は、私たちが思考と呼ぶ多くの人間の行動を再現できないことは確かだよね。機械が現在どんなタスクを達成できるかっていうのは、重要な質問だし、今LLMが注目されているのは、機械が以前はできなかったタスクを達成しているからだと思う。機械がやっていることを「思考」と呼ぶかどうかは、ある意味で常に疑問が残るかもしれないけど、それはあまり面白くない言葉の問題だよね。意味のある質問に迫るためには、思考の意味をもっと正確に、あるいは高解像度で地図にする必要があるかもしれないけど、重要なのは機械がどんな機能を果たせるか、どんなタスクを達成できるかで、「思考」と呼ぶかどうかはあまり重要じゃない気がする。もしかしたらそれがダイクストラの言いたかったことかもしれないけど、文脈がないと判断しづらいね…

よく見落とされがちな注意点は、ソフトウェアが本来やるべきことをやっているかどうかだけを気にすればいいってこと。そう考えると、LLMはただのバグだらけで、何年もそうだった。LLMは本当に言っていることをやっているの？「幻覚」と「彼らは推論するのか」は気を散らす要素だ。彼らは失敗する。バグだらけなんだ。

いわゆる「スケーリング法則」は、収穫逓減を表している。どうして「リソースを指数的に増やせばエラーが線形で減る」って、いい兆候だと思われるの？

論理や推論について、バイブコーディングという言葉にすごく執着しているグループと議論している時点で、もう負けてると思う。

果物バエを使った心理実験をしているような気がする。安いからって人間に結果を当てはめるのは、ほぼ同じだけど小さいからって。ごめん、でもここでの幻覚は著者たちのものだけだよ。スケールアップしたときに面白い結果が出るってこと、もう一度言わなきゃいけないの？この努力は、何かをスケールアップしながら結果をプロットしたら面白いと思うけど。

すべての推論が言語を必要とするわけじゃない。象徴的な推論は言語を使うけど、車を運転して物にぶつからないようにするリアルタイムの空間推論は言語的じゃないみたい。キャビネットを回転させて階段を通過させる方法を考えるのも、言語を必要としないように思える。誰かに解決策を伝えるためには言語が必要だけど（図やモデルの方が便利な場合もある）。

私が抱えていた一番難しい問題の解決策は、寝た後や散歩中に考えていない時にしか出てこなかったことが多い。もしかしたら、私の脳がやっていたことは推論とは違う何かだったのかも？

この分野ではほとんど素人だけど、なぜ確率的なテキスト変換器に推論を教えようとしているのかわからない。誰がそのアプローチがうまくいくと思うの？もっと明白なアプローチは、何らかの象徴的論理エンジンに結びつけることだと思ってた。普通の言語の文を、そのエンジンが決定論的に解析できる構文に変換するかもしれない。これは著者が軽視しているプラトン的な推論の理想だと思うけど、推論の本質は命題を評価する際に論理を適用することだと思う。LLMは命題の要素を生成するように訓練されるかもしれないけど、論理を適用するにはランダムすぎる。

実際、近い将来、MLLMが「考える」や「推論する」ことが、単語を一つも出さずに行われるのが普通になると思う。何かを出力することになるけど、それが計算を増やす唯一の方法だからね。トークンを出力して、その後すべてのコンテキストと次のトークンが再びLLMに流される。ユーザーに提示されることはないかもしれないけど、それはまた別の話。

これは「哲学的な」（著者が言いたかったのはおそらく「実際には重要でない」）問題ではない。私はそうは思わなかった。哲学が正当なものであるかどうかに依存すると思う。

あなたはモデルが何を生み出すべきかという視点から見ているけど、実際にはモデルの設計を決めるのは、効率的に大規模にトレーニングできるデータなんだよね。出力は、トレーニングの逆のようなもの。AIには「オートコンプリート」になってほしくないけど、テキストはたくさんあるし、文のすべての接頭辞を同時にトレーニングする効率的な方法がある。トークンの埋め込みベクトルを正確に保持する実験もあったけど、結果は「まあまあ」だった。おそらく、モデルがトレーニングされた入力フォーマットではなかったからだろうね。テキストとは完全に別のベクトル「ニューラリーズ」でトレーニングされたモデルがうまく機能する可能性もあるけど、トレーニングにはジレンマがある。内部表現はモデルがトレーニングされるまで有用な意味で存在しないから、モデルに与えるものがない。さらに、モデルがトレーニングされると内部表現も安定しないんだ。

連続空間が離散空間よりも思考に優れているとは限らないよね。

潜在空間の推論者は実在するし、正直言って、すでに新しいモデルが広範な推論合成でトレーニングされる中で、潜在空間の推論者が埋め込まれ始めていると思う。Othello-GPTが動きだけで潜在空間にボードを構築できるなら、指数的に大きなトランスフォーマーは、かなりの数のトレースを与えられたら、潜在空間に推論者を構築できるのかな？

「本当の推論」とか「シミュレートされた推論」って概念は全然意味がないと思うんだ。LLMの推論は人間の推論の一部と見なせるし、もっと役立つ比較は「本物 vs 偽物」じゃなくて、LLMの推論に何が欠けているかを考えることだと思う。それを追加するには（たぶん全く新しいアーキテクチャが必要で、LLMやトランスフォーマーじゃない）人間らしくて能力のあるものになるんじゃないかな。人間の推論や皮質機能は予測に基づいているように見えるけど、LLMとは多くの違いがあって、まず私たちは自分の経験や予測の失敗と成功から継続的に学ぶってことがある。人間の推論は基本的に「もしも」の予測を連鎖させるもので、一般的な知識や特定の問題解決のステップに基づいて学んだ予測結果に基づいている。たぶん、人間がやることとLLMがやることの違いは、例えば数学の問題に取り組むとき、RLで訓練された推論LLMが以前にうまくいった推論ステップを連結する時にはあまりないかもしれない。でも、違いが出るのは、LLMがそのステップを最初にどうやって学んだか、そして推論が失敗したときに何が起こるかだよね。人間の場合、これらは本質的に同じことなんだ。私たちは予測して試してみて、予測の失敗（感覚的なフィードバックなど）から学んで、次回の文脈に特化した予測を更新する。もし推論や予測が行き詰まったら、思いつくことを全部試してみて、全部失敗したら、好奇心や退屈（もっとあるかも？）の本能が働いて、問題を探求して学んで再挑戦する。好奇心や探求は、模倣や他の知識源からの知識の積極的な追求（または受け取り）を通じて知識を得ることにもつながる。LLMはもちろん学ぶ能力がないから（文脈内学習を除いては - それは貧弱な代替品）、基本的に事前に訓練されたものに制限されているし、事前訓練は無限に変化する世界の解決策にはならない。だから、LLMが「本当の」推論をしていないと言うよりも、推論の基盤が予測であることを認める方が生産的だと思う。ただし、LLM（というか将来の認知アーキテクチャ - トランスフォーマー層のスタックじゃなくて！）には、継続的・段階的な学習、学習状況に自分をさらけ出すための好奇心のような本能的な特性、作業記憶や認知の反復・ループ（視床皮質ループなど）など、たくさんの追加機能が必要なんだ。

「推論にはおそらく言語の使用が必要だということです。AIモデルが「本当に」推論できるとは思わなくても、シミュレートされた推論も人間の言語での推論でなければなりません。この仮定は人間にも当てはまらないと主張します。言語での推論は最も「派手」な種類の推論で、他の人と最も簡単に共有できるものです。なぜなら、私たちはそれを言葉にして、書き留めて、発表することができるからです。でも、私は自分の人生を頭の中で常にナレーションしているわけではないことは確かです。LLMの推論の痕跡のように。多くの推論は視覚的に行われます。つまり、あるシーンを想像して、それがどう展開するかを考えることです。他の状況では、「ふと浮かぶ」自発的なアイデアがあるんです。つまり、無意識のプロセスやおそらく何らかの関連が関与しています。それらは言語を使っていません。

うわー、今は思考を再構築するチェーンが欲しいな。チャットとCoTを組み合わせて、このスタイルに合わせてくれるやつ。

[追記] 重要な部分を省略してしまったことに気づきました。もし通常のバージョンがすでに「推論」をしていなかったら… なぜこの種の調整がそれを変え、本当の推論をもたらすと期待するのでしょうか？コアアルゴリズムは本当に変わっていないし、私たちはただ（隠れた）ドキュメントを変えて、異なるスタイルで手がかりの密度を高めて、より効果的に人間が気づかずに嫌がらないような出力を作っているだけです。 [0] 特に真実や虚偽についての意識や配慮なしに「良い響き」のものを作ること。