マウスとキーボードの入力に基づいて画面画像を直接予測する生成型オペレーティングシステム。状態モデリングにはRNNを、画像生成には拡散モデルを使ってるよ。詳しくは僕のツイートを見てね: https://x.com/yuntiandeng/status/1944802154314916331

これを使おうとしたけど、ラグがひどくてアイコンをクリックするのも無理だった。さらに、他の人が待ってるってメッセージが時々出てきて、エミュレーションがマウスのポインターから遠ざかっていった。どんな体験を目指してるのか分からないけど、これじゃないと思う。

これを使おうとしたけど、やっぱりラグがひどくてほぼ無理だったし、他の人が待ってるかもしれないって思い出させられるのが不快だった。でも、フォルダーをクリックできて、開いたのは結構リアルに見えたよ。ラグ以外でおかしいと思ったのは、ファイルブラウザの下に空きディスクスペースが表示されてて、最初の数字は明らかに6で、2番目の数字はちらついてていろんな数字の間でぼやけてた。面白いアイデアだけど、どのくらいのフレームレートで動くべきなんだろう？5fps未満だと感じたよ。

これを見て、子供の頃にパワーポイントでスライド間のリンクやアニメーション、埋め込まれたインターネットエクスプローラーオブジェクトを使って「OS」を作ったことを思い出した。似たような感じで、実用的な使い道は見えないけど、グラフィカルユーザーインターフェースの複雑な状態機械の中でネットワークが意図を理解するという概念的なデモは本当に魅力的だね。

NeuralOSを試してくれたみんな、ありがとう！ユーザー体験が frustrating でごめんね！デモは自分でコーディングしたんだけど、待ってるユーザーについての警告メッセージがどれだけ邪魔になるか予想してなかった。デモはかなりリソースを消費するから、各セッションにはH100 GPUが必要で、今は8つの並列ワーカーを使ったディスパッチャー・ワーカーのセットアップをしてる。残念ながら、需要が設定を超えてしまって、ラグが発生してしまったし、他の人が待ってるときはセッションを60秒に制限しなきゃいけなかった。また、基盤となる拡散モデル自体も遅くて、フレームレートは通常2fps未満になってるし、ネットワークのボトルネックも影響してる。モデルの能力については、今のところNeuralOSはかなり限られてる（論文の要約でも認めてる）。だから、僕のツイートで見せたデモのインタラクションは最小限だった（Firefoxを開いて、URLを入力するだけ）。全体として、これは生成型のニューラルネットワークを使ったGUIの可能性を示すための概念実証としての意味があるんだ。完全にオープンソースだから、今後他の人が改善してくれることを願ってる！再度、正直なフィードバックに感謝！