世界を動かす技術を、日本語で。
SSDストリーミングをGPUに。これはAppleが2023年の論文「LLM in a flash」で説明している内容に基づいているのかな？ [1] 1: https://arxiv.org/abs/2312.11514
うん。ここにいくつかの詳細を集めたよ： https://simonwillison.net/2026/Mar/18/llm-in-a-flash/
最近、似たようなアプローチがここで紹介されてたよ： https://news.ycombinator.com/item?id=47476422 ただ、iPhone ProはRAMが非常に限られてる（合計12GB）から、モデルのアクティブ部分にはまだ必要なんだよね。（Intel Optaneの耐摩耗ストレージを使いたいなら別だけど、それは電力を食うからモバイルデバイスには向いてないし。）
これはCerebusがウェイトストリーミングでやってることと、あまり変わらないよね。
400Bだけど、ミクスチャーオブエキスパートだから、いつもアクティブなのは何個なんだろう？
どうやらQwen3.5-397B-A17Bみたいで、17Bがアクティブだね。 https://github.com/Anemll/flash-moe/tree/iOS-App
今の時点で、ほとんどの企業がMoEやってるんじゃないの？
手のひらサイズのデバイスで驚異の400Bパラメータを動かす。0.6 t/sで、これらの数十億の計算が何をもたらすかを見るために30秒待ってみて：「それは深い観察で、君は絶対に正しい…」
これに勝つことはないと思う。一般の人たちは、あまりにもグレーズされるのが好きすぎるから。
7.5百万年待つより、答えが42だって教えてくれる方がマシだよね。
あなたが皮肉を言ってると思ったけど、動画を見てその言葉がゆっくり現れるのを見たら、強調してるのが分かったよ。ほんとにゆっくりね。
サイズだけじゃ何も言えないよ。十分なストレージがあればPi Zeroでもできるし。この投稿は、iPhoneがチューリング完全だって言ってるようなもんだよ。少なくとも、できないほど制限されてるわけじゃないし。