それ、政府みたいだね。あなたの問題は、集団的な社会的努力を期待してるけど、それを公共の利益として支払うほどの資金がないってことだね。

ドメインによるね。トレーニングに必要なデータが個人用や非商業用で入手できるケースはたくさんある。その場合、トレーニングにかかる計算や時間が問題になるけど、待てるなら、消費者向けのハードウェアでも十分に役立つモデルを開発できるよ。

これはちょっと悲観的すぎると思う。私自身はあまり賢くないかもしれないけど、今の知性を得るために、全ての本やWikipediaの記事、ブログ投稿、リファレンスマニュアル、コードの行をトレーニングする必要はなかったよ。実際、そんな材料の1%もトレーニングしてないし、0.00000000001%もしてない。テキスト自体は知性の前提条件ではなかった。少なくとも、周囲を20年ほど観察するだけで知性に近づけたっていうのは、必要なのはセンサーと周りの世界だけだって証明してるよ。もちろん、人間の脳はゼロから始まるわけじゃなくて、知性が根付くための肥沃な土壌を作るために数百万年の進化があった。でも、その基本的な構造はかなり一般的で、特定のトレーニングセットに基づいているわけではないように思える。人工的に進化させることもできるかもしれないね。

現在の技術では全部は無理だけど、LoRAはファインチューニングにすごく優れてるし、ハイエンドのゲーミングPCで数時間で生成できるから、基本モデルが自分の言語にあれば、持ってる電子機器で月に数個のLoRAをトレーニングするのに十分な計算能力があると思うよ。将来的には、一般的な家庭用コンピュータが現代のサーバー並みの能力を持つようになれば、家で全LLMをトレーニングできるようになるだろうね。

ローカルで再現できない技術がたくさんあるから、LLMも特別ではないと思う。大手LLMメーカー、小規模LLMメーカー、アーティザナルなLLM、LLM好きな人、もちろんLLMの消費者もいるよ。どんなことでも同じだね。

これが重要なのは、ローカルでモデルを運用していても、それは依然としてプロプライエタリなモデルだからだよ。何でトレーニングされたのか、トレーニングデータがどうラベル付けされているのか、ガードレールは何か、どんなバイアスがあるのか、そういうことには一切関与できないんだ。

それは確かに心配な点だけど、ここではトレーニングと推論を分けて考えたいな。

オープンウェイトAIのビジネスモデルって何？ないと思うよ。せいぜい、売ってるより進んだモデルの広告として機能するくらいじゃない？オープンソースとの大きな違いは、自由な時間とモチベーションだけではLLMをトレーニングできないってこと。たくさんのデータと計算が必要だし。間違ってるといいな、私はオープンウェイトの未来の方が好きだから。

これには同意できないな。コストが重要な要素になるか、無料だけど質が悪い選択肢が魅力的でアクセスしやすくなると、ユーザーの行動がローカルにシフトすることがあるよ。例えば、写真から背景を削除したり、PDFのOCRをしたりするのに、こういうことをカジュアルに使うのに有料サービスを使う人ってどれくらいいる？

一般の人たちは「ローカルAI」が存在することすら知らないんじゃないかな。