それ、政府みたいだね。あなたの問題は、集団的な社会的努力を期待してるけど、それを公共の利益として支払うほどの資金がないってことだね。

ドメインによるね。トレーニングに必要なデータが個人用や非商業用で入手できるケースはたくさんある。その場合、トレーニングにかかる計算や時間が問題になるけど、待てるなら、消費者向けのハードウェアでも十分に役立つモデルを開発できるよ。

これはちょっと悲観的すぎると思う。私自身はあまり賢くないかもしれないけど、今の知性を得るために、全ての本やWikipediaの記事、ブログ投稿、リファレンスマニュアル、コードの行をトレーニングする必要はなかったよ。実際、そんな材料の1%もトレーニングしてないし、0.00000000001%もしてない。テキスト自体は知性の前提条件ではなかった。少なくとも、周囲を20年ほど観察するだけで知性に近づけたっていうのは、必要なのはセンサーと周りの世界だけだって証明してるよ。もちろん、人間の脳はゼロから始まるわけじゃなくて、知性が根付くための肥沃な土壌を作るために数百万年の進化があった。でも、その基本的な構造はかなり一般的で、特定のトレーニングセットに基づいているわけではないように思える。人工的に進化させることもできるかもしれないね。

現在の技術では全部は無理だけど、LoRAはファインチューニングにすごく優れてるし、ハイエンドのゲーミングPCで数時間で生成できるから、基本モデルが自分の言語にあれば、持ってる電子機器で月に数個のLoRAをトレーニングするのに十分な計算能力があると思うよ。将来的には、一般的な家庭用コンピュータが現代のサーバー並みの能力を持つようになれば、家で全LLMをトレーニングできるようになるだろうね。

ローカルで再現できない技術がたくさんあるから、LLMも特別ではないと思う。大手LLMメーカー、小規模LLMメーカー、アーティザナルなLLM、LLM好きな人、もちろんLLMの消費者もいるよ。どんなことでも同じだね。

これが重要なのは、ローカルでモデルを運用していても、それは依然としてプロプライエタリなモデルだからだよ。何でトレーニングされたのか、トレーニングデータがどうラベル付けされているのか、ガードレールは何か、どんなバイアスがあるのか、そういうことには一切関与できないんだ。

それは確かに心配な点だけど、ここではトレーニングと推論を分けて考えたいな。

オープンウェイトAIのビジネスモデルって何？ないと思うよ。せいぜい、売ってるより進んだモデルの広告として機能するくらいじゃない？オープンソースとの大きな違いは、自由な時間とモチベーションだけではLLMをトレーニングできないってこと。たくさんのデータと計算が必要だし。間違ってるといいな、私はオープンウェイトの未来の方が好きだから。

これには同意できないな。コストが重要な要素になるか、無料だけど質が悪い選択肢が魅力的でアクセスしやすくなると、ユーザーの行動がローカルにシフトすることがあるよ。例えば、写真から背景を削除したり、PDFのOCRをしたりするのに、こういうことをカジュアルに使うのに有料サービスを使う人ってどれくらいいる？

一般の人たちは「ローカルAI」が存在することすら知らないんじゃないかな。

アメリカ政府が自分たちのローカルAIを導入するのを待ってるんだ。それが最終的にはオープンソース化につながると思う。税金で賄われてるからね。それにNSAは何十年分ものインターネットデータを持ってるから、トレーニングには困らないし、オープンウェイトはどの企業のものとも同じくらい良いと思う。

それは非常に危険な賭けだね。今はほとんどの人にとって信じられないほどの価値があるけど、予期せぬ理由でそれが止まることもある。消費者向けハードウェアで現在利用可能な最高のオープンウェイトのLLMをずっと使い続けるのを妨げるものは何？95%のユースケースには十分な性能があるし、使用期限もない。私が見る限り、「危険」とは次のレベルのものが出てこないことだけど、その影響は非常に小さいよ。

5070TIのカードを2枚持ってるんだけど、分散トレーニングモデルのために時間を喜んで提供したいと思ってる。問題はトレーニングデータなんだ。2022年以前のデータには制限をかけたい。どうやって調整するかは分からないけど、こういうことに関わりたいな。SETIみたいに、LLMのために。

私もローカルモデルのパフォーマンスが良くないって感じてる。LLMに関するスレッドが立つたびに、コメント欄には最新のDeepSeekやqwen、その他のモデルがOpusと同じくらい良い結果を出してるって主張する人がたくさんいるけど、私の経験では全然そうじゃない。オープンソースのモデルは、Claudeに比べてちょっとでも複雑なことを頼むと完全にダメになる。90年代のLinuxの状況に似てる気がする。なんとか動くけど、家庭用ユーザーには本当に向いてなかった。でも、すべてが大丈夫だって主張する人がたくさんいたのは、主にイデオロギー的な理由からだと思う。

問題は、ローカルモデルの調整に時間をかけるよりも、SOTAモデル（特に補助金が出ている場合）を使う方がずっと簡単だってことだ。それは問題じゃなくて、むしろ機能だよ。今、無料のプロバイダーのタブを8個くらい開いてる。ChatGPT、Claude、GeminiがSOTAモデルだね。どれかを使い切ったら、次に移るのに全く問題ないよ。これを一日中やって、特定の機能（またはクラス）を自分のコードに実装させることができる。実際にソフトウェアを書く方法を知ってるから、エージェントをループで動かして一日で全部を生成する必要はないんだ。ウェブチャットボットを使ってコピペするだけで、1時間に何千行ものコードを生成できるし、コードの強いメンタルモデルを持っているから、必要なところに行って変更もできるんだ。[1] --------------------- [1] 今朝、Pythonプロジェクトでそれをやったよ。必要なものをデザインしたから、各生成は単一の関数を促す形だったんだ。今朝、何かを追加する必要があったとき、チャットボットに頼むことすらせず、直接正しい場所に行ってやったよ。仕様から全部を生成する場合は、そうはいかないよね。

一番抵抗の少ない道が勝つことが多いよね、特に価格が本当のコストを隠しているときは。

事前に聞かずにギガバイト単位の帯域幅やストレージを使わない方がいいんじゃない？

これはちょっと変な意見だね。オプトインじゃないなら、ブラウザに無理やり組み込むのは良くないよ。ローカルのLLMを動かすアプリがデータをダウンロードすることに誰も怒ってないでしょ。

「自分が選んでローカルのLLMを動かしている」と「ブラウザが勝手にローカルのLLMを動かしていて、自分には選択権がない」の違いが分からないの？理解できないの？それに、自分が選んで動かすLLMはモンスター級のマシンが必要で、Googleがブラウザに入れたものよりも遥かに能力が高いんだけど。まあ、Chromeは使ってないから自分には関係ないけど、その違いが分からないのは驚きだね。

そんなに良いアイデアなら、なんで有効化する前に教えてくれなかったの？気づかれないように避けてた気がする。もし気づいてたら、すぐに無効にしてたと思うし。それに、タスクマネージャーに実際にダウンロードしてるのが表示されないのはなんで？この活動を隠そうとするのはどういうこと？デスクトップにconkyを使ってるから、すぐに気づいて、自分のコンピュータで好みのアクション、つまりすぐに無効にすることができたのに。

ちょっと誠実さに欠けるね。みんながローカルモデルのインストールに騒いでるわけじゃない。ユーザーの自律性がないことに対して怒ってるんだよ。静かにインストールするんじゃなくて、モデルをダウンロードするオプションをくれればいいのに。それほど難しくないでしょ。これが他のローカルオプションのやり方だよ。

みんなが何に不満を持ってるのか理解するためにコメントを読むことをおすすめする。このコメントは議論の本質についてかなり不誠実だよ。

これは単なる妄想だね。Kimi 2.6を運用するのに月に20-30万かかる。トークンは1mmあたり3ドルで売られてる。利益を出すためには、月に1,000ドル未満で150トークン/秒で推論を実行できる必要がある。人々は、そこそこの能力のモデルをホスティングするのがどれだけ高くつくか、そしてその利用がどれだけ補助されているかを理解していないと思う。消費者向けのハードウェア（実際に手が届く価格のもの）では、限界があるよ（4090が2つとか、128GBのMacBookは消費者向けとは言えないし、平均的な人には信じられないくらい高い）。それに、まだ動かせるモデルは「十分良い」とは言えない、実際にはほとんど役に立たない。人々は、億万長者がずっと寛大で、10対1や20対1の損失比率で推論を補助してくれる未来に賭けている。でも、それは必ず終わるし、たぶんすぐに終わるよ。このアイデア、つまり企業が月に200ドルで5時間、2mmのGPUにアクセスさせてくれるのは持続不可能だよ。今はあなたを引き込もうとしてるけど、騙されないで。勉強して、一生懸命働いて、汗をかけば、きっと報われるから。スイスで月に1個手作りの時計を作る人は、中国で製造ラインを運営して5万稼ぐ人よりずっと多く稼いでる。自分でコードを書けばいいんだよ。億万長者の思考機械にアクセスすることに未来を賭けないで。知性、知識、能力は交換可能じゃない。LLMのブームは、そうであるかのようにあなたを納得させるための嘘だよ。

ローカルモデルの最大の影響は、リモート推論が唯一の選択肢になるのを防ぐことかもしれないね。

うん、ChromeのPrompt APIをローカルLLMの良い例として扱うのはおすすめしないよ。まあ、悪くはないけど、本当に弱い。1年前の8bモデルの方がいくつかの点で優れてるし、最近のモデルはかなり良くなってる。

データ変換にLLMを使ってるけど、決定論的なプロセスの方がずっと向いてるのに、1,000ワットの電源を使ってるって、すごいね。

あの質問について調べたんだけど、apfelのためにね。https://github.com/Arthur-Ficial/apfel で、標準化されたAPIはOpenAIのAPIだから、それを使うことにしたよ。