同意する、むしろ応用線形代数って感じだね…でもそれだとちょっと魅力に欠ける。

マニフォールドのトポロジー変換は、トレーニング中にも起こります。それを考えると、トレーニング中にトポロジーはどのように進化するのか気になりますよね？もしGANやVAEを使ったことがあるなら、この質問に答えられるかもしれません！答えは「はい」に近いです。トレーニング中のさまざまなチェックポイントでGANを見て、高次元空間の異なる点がどのように動くかを確認できます（UMAPやTSNEのようなツールを使って）。> 最初は激しく変化してから安定し、次に幾何学的に洗練されると想像します。それも正しいですが、最初の激しい変化は学習率やオプティマイザーの選択にも影響されます。

自称実践者の間にあるこの理論に対する誇り高い反感が理解できない。既存の理論が不十分でも、運用理論が有益じゃないの？それとも、神秘的なものと推測＆確認の苦労が職の安定につながってるの？

理論からのいくつかの直感（それはトポロジーじゃなかった）。これらの「直感」は事後的なもので、つまり深層学習が手法を考案した後に、他の科学分野の研究者が深層学習のアプローチと彼らの（おそらく数十年前の）手法の類似点に気づくってことだと思う。著者がGPTが実際には彼が以前物理で解決した同じ計算問題であることを発見する例があるよ： https://ondrejcertik.com/blog/2023/03/fastgpt-faster-than-py...

これには全く同意できない。確かに試行錯誤はたくさんあるけど、実際にはトポロジー、幾何学、ゲーム理論、微積分、統計学など、多くの数学の分野からの理論の融合なんだ。基礎（つまりバックプロパゲーション）は重みへの連鎖律の適用に過ぎない。違いは、深層学習が非常にアクセスしやすい（利益を生む）分野になったことで、多くの実践者が形式主義の起源を学ばずにこの分野を学ぶ贅沢を享受できるようになったことだ。最終的には、彼らが他の分野でずっと前から存在していた理論や技術を利用したり「再発明」したりすることができるようになっている。

これは錬金術だ。現在の形の深層学習は、錬金術が化学に関係するように、仮説的な基礎理論に関連している。数百年後、私たちの後の文明のイヌクティトゥット語を話す高校生たちは、この奇妙な言葉「深層学習」が昔の共通語の名残であることを学ぶだろう。

データは実際には多様体上に存在しない。多くの場合、存在するよ（そしてそれは「シーブ」と呼ばれる）。

これはディープラーニングに10年以上関わってきた人間として言うけど、これはかなり間違っている。データは明らかに多様体上に存在するし、ディープラーニングへの応用に関しても（私の投稿にリンクされている2014年のクリス・オラのブログを参照）間違っている。埋め込み空間は「空間」と呼ばれる理由がある。GANやVAE、コントラスト損失など、これらはすべて異なる種類のデータを生成するために「歩く」ことができるベクトル多様体を構築することに関するものだ。

近似誤差を考慮して定義を緩めればそうなるよ。例えば、Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning (https://aclanthology.org/2021.acl-long.568.pdf)

MLがなぜこんなにうまくいくのか良い説明がないっていうのは、みんなが自分の専門分野から自分なりの解釈を作り出す余地を与えてる気がする。特に頭の良い人たちからもそういうのを見たことがある。ハンマーしか持ってないなら...

あなたの観察に対するちょっとした補足コメント：その原則は還元主義と呼ばれ、多くの分野で試みられてきました。物理学は応用数学、化学は応用物理学、生物学は応用化学に過ぎません。あまりうまくいかないですね。

深層学習で行われる有用なことのほぼ全て、あるいは100%は、トポロジーについて考えないことから来ています。もちろんです。これらの構造が何をしているのかを深く理解するために、トポロジーを使います。トポロジーの洞察は、間違いなくこの技術の次世代に影響を与えるでしょう。

これはトポロジーとは全く関係ないことだ 100パーセントその通り。二つのこと、すなわちi) トポロジーとii) ディープラーニングについての記事で、明らかな混乱がそのうちの一つ、つまりトポロジーの中に収まっていることを願うばかりだ。

確かに、その文では「トポロジー」をもっと口語的に使っていました。「表面」と言うべきでしたね。

トポロジーのざっくりとした定義をあげると、実際には距離の概念がなくても、近いと遠いという感覚を持つ空間を研究することだと思う。点集合トポロジーの近傍の核心的なアイデアは、ある点が別の点の近くにあるという考えを捉えていて、連続性や列の収束のような、近さの概念を必要とするものを定義できるんだ。例えば、ウィキペディアから [0] 「近く」「任意に小さい」「遠く離れている」という用語は、開集合の概念を使うことで正確に定義できる。もし「開集合」の定義を変えれば、連続関数、コンパクト集合、連結集合が何であるかも変わる。各「開集合」の定義の選択はトポロジーと呼ばれる。トポロジーを持つ集合はトポロジカル空間と呼ばれる。距離（メトリック）を定義できるペアの点がある実際の非負の距離を持つトポロジカル空間の重要なクラスがメトリック空間なんだ。メトリックがあれば多くの証明が簡単になるし、最も一般的なトポロジカル空間の多くはメトリック空間なんだ。だから、トポロジーが必ずしもニューラルネットワークを理解するための最良のレンズであるとは限らないし、この記事の著者もコメントで考えが進んでいることを示している。ただ、誤解を解こうとしてるだけなんだ。 [0] https://en.wikipedia.org/wiki/General_topology

一般的な推論について話しているの？それとも、命題の（表現の）上で作用するそのメンタルプロセスとしての推論について？その場合、「真の推論は公理ではなく確率の観点で表現される」というのが理解できない。推論の特徴の一つは、こういう風には機能しないことだ。動物が彼らが表現する命題に対して非確率的に作用する能力を全く持っていないというのは非常にあり得ないことで、これは正しい推論にとって不可欠であり、比較的簡単に提供できる能力だ。例えば、「もしクモが箱Aにいるなら、他のどこにもいない」とか。

トポロジーは、特に長さ、距離、角度、任意の変形を信頼できない場合に役立ちます。でも…信頼できないんですよね。入力データは、信頼できないマニフォールド上に存在します。コカ・コーラの缶の画像と停止標識の画像がピクセル空間で近くにあることには、あまり意味がありません。ニューラルネットワークは、あなたが言っているような激しい変換をすべて適用します。

具体的なことに入っていくと、純粋なトポロジーだったら気にならないようなことが、層の数から量子化やFP解像度まで、結構重要になってくるよね。

「トポロジー」って言葉には、君が主張しているような要件がない正当な辞書の定義があるんだ。君が見落としているのは、実は二つの定義があるってことだと思う。

ニューラルネットワークの理解に関することなんだけど、よく見かける誤解みたいな意見があるんだ。たとえば、- LLMは基本的にちょっと良くなったn-gramモデルだとか - 次のトークンを「ただ」予測するっていう考え方、次のトークン予測がモデルをバカにすることを意味するかのように（この[1] KarpathyのRNNに対する人気のある反応が、言語ニューラルネットをn-gramモデルと同一視する原因の一部かもしれないね。確率的オウムの論文[3]もLLMとn-gramモデルをある程度同一視してるし、「彼女は主にn-gramモデルを考えていたけど、結論は適切で関連性がある」って言ってる。ネットが本当に良くなる前は、彼らがもっと同じだった時期もあったんだろうね）[1] https://nbviewer.org/gist/yoavg/d76121dfde2618422139 [2] https://karpathy.github.io/2015/05/21/rnn-effectiveness/ [3] https://dl.acm.org/doi/pdf/10.1145/3442188.3445922

ねえクリス、当時君の投稿はすごくインスパイアリングだったよ。詩的なアイデアがあって。ここでのフォローアップを見るのはクールだね！

物理学では、異なるグローバル対称性（トポロジカル多様体）が同じ計量構造（局所幾何学）を満たすことができるのが面白いと思う。たとえば、アインシュタインの場の方程式に対する同じ計量テンソルの解が、トポロジー的に異なる多様体上に存在することがある。逆に、イジングモデルの解を見てみると、同じ格子トポロジーが多くの異なる解を持つことができ、システムが臨界点に近づくと、格子トポロジーはほとんど関係なくなる。これは単なるアナロジーだけど、少なくともダイナミクスの興味深い詳細はシステムのトポロジーに埋め込まれていないことを示唆している。もっと複雑なんだ。

フォローアップありがとう。君の回路スレッドは数年にわたってフォローしてるよ。線形表現仮説はすごく魅力的だと思うし、トイモデルの重ね合わせに関するレビューのドラフトがノートにあるんだ。回路についてはあまり魅力を感じないけど、そこに関する分析は特にトランスフォーマーアーキテクチャに結びついている気がする。でも、俺が何を知ってるかは分からないけどね。線形表現仮説については、アーキテクチャによるんじゃないかな？GANやVAE、CLIPなどは明示的に多様体をモデル化しているように見えるし、単純なモデルでも最適化の圧力によって、似たような特徴を同じ線形方向にまとめることがあると思う。多様体仮説と、単純なモデルが似たような特徴を直交方向に配置するという経験的証拠を調和させるのは難しいかもしれないけど、それは最適化されている損失にもっと関係があるんじゃないかな？トイモデルの重ね合わせでは、MSEを使っていて、実質的にモデルがオートエンコーダーの回帰/圧縮タスクを学ぶようになってる。だから、共起する特徴間の干渉パターンが重要になるのは理解できる。でも、異なる設定、たとえばコントラスト損失の目的だと、同じ干渉最小化の振る舞いは見られないと思う。

俺の予想では、線形表現仮説は、俺の期待としては、リーベグループに近い意味でおおよそ正しいだけだと思う。局所的には平坦だけど、ある時点でその概念は崩れる。ちなみに、俺は大学で数クラスを受けただけの機械学習についてはほとんど知らない数学者なんだ。

これらの投稿が大好きで、俺の研究や博士課程の方向性にたくさん影響を与えたよ。これに興味がある人には、ノーマライズフローについても学ぶことをお勧めしたいな。（フローマッチングのより広いクラスだよ）これは座標変換を学習するネットワークなんだ。だから、幾何学やトポロジーとの関連がもっと明白になる。もちろん、フローの欠点は、一定の次元に縛られることだけど（まあ…ちょっとだけど）、それでももっと解釈しやすい環境で作業しているから、何が起こっているのかを理解するのに役立つと思うよ。

以前の投稿には、いくつかの小さなHNのディスカッションがあったよ（興味がある人のために）：Neural Networks, Manifolds, and Topology (2014) - https://news.ycombinator.com/item?id=19132702 - 2019年2月（コメント25件）Neural Networks, Manifolds, and Topology (2014) - https://news.ycombinator.com/item?id=9814114 - 2015年7月（コメント7件）Neural Networks, Manifolds, and Topology - https://news.ycombinator.com/item?id=7557964 - 2014年4月（コメント29件）

これは、2011年にトポロジーを初めて勉強して以来、リアルな世界の状況で「適用」しようとした私の経験を反映してる。今でも「リアルワールドデータは滑らかで低次元の多様体に近似される」という一般的なフレーズにためらってる。実際にこの主張がリアルワールドデータにどの程度当てはまるのか、また自然データセットに効率を促進するために適用する次元削減手法によってどの程度歪められているのかをじっくり調査したいんだけど、残念ながら、誰にそんな時間があるんだ？

線形表現仮説はかなり興味深いね。これの背後にある直感が気になる。