そうだね、自動生成されたブログ投稿からプロンプトを逆エンジニアリングできたら面白いけど、実際はそうじゃないんだよね。

それでも、技術的には正しいよ。モデルは次のトークンの尤度分布を生成して、その後サンプリング戦略を適用してトークンのシーケンスを生成するんだ。

ネタバレだけど、論文を開きたくない人のために、寄稿の声明はこうだよ：「平等な貢献；著者の順番はマリオカートで決定された。」人生のもっと多くの対立がマリオカートで解決されればいいのに。

でも、同じモデルで与えられたテキストに対して自己回帰を再実行するだけで、妥当な分布のセットを再構築できると思うよ。正確なプロンプトを逆算するわけじゃないけど、役立つ近似が得られるかもしれない。

GPT-2が使ってる潜在空間は768次元だと思う（つまり、埋め込みベクトルはそれだけの成分を持ってる）。

高次元空間の性質は、直感的に逆転可能性の主張を支持している気がするんだけど、どう思う？つまり、> 「これらの制約の下で、2つの入力が同じ出力にマッピングされる確率は天文学的に小さいと思う。」

読んでみると、彼らがやったことはバースデーパラドックスを信じてのサニティチェックみたいだね。要するに、「偶然で直交ベクトルが一度出るのはいいけど、何十億回も試して毎回直交ベクトルが出るなら、偶然って説明はちょっと無理があるよね」って感じ。

高次元空間についてのあなたの直感が羨ましいな、私は全くないから（「ここにはドラゴンがいる」以外は）。あなたの直感は大体正しいと思うよ。空間の大きさを考えると、何十億回の衝突テストはかなり不十分に感じるから。 > 直感的に言うと、そんな高次元空間では、2つのランダムベクトルは基本的に直交している。ここでの直感は何？大数の法則？直交性は距離とどう関係してるの？ |a-b|^2の展開 = |a|^2 + |b|^2 - 2 = 2 - 2、ユニットベクトルが基本的に直交しているなら、だいたい2になる？ > 出力が正規化されているから、それはユニット球の表面の信じられないほど小さなパッチに対応するんだ。高次元ベクトル空間のユニット球の表面についての直感も全くないよ。消えてしまうと思う。おそらく、このパッチも面積の観点から消えてしまうんだろうけど、その用語がゼロに近づく相対的な速度はどうなるんだろう？

直感的に言うと、そんな高次元の空間では、2つのランダムなベクトルは基本的に直交してる。これが、ディープラーニングやLLMが効果的な主な理由でもあるんだ。数千次元のベクトルだけでは、人間の知識をすべて表現するには全然足りないけど、実際にはもっと高次元、潜在的には無限次元のベクトルの投影として機能するからね。小さい方のベクトルは、実際には投影として機能するんだ。なぜなら、そんな2つのベクトルはほぼ常に直交してるから。