何かしらのコスト競争力があればね…本当に何でも。

地面に落ちてる20ドル札を拾わない経済学者のジョークみたいだね。自由市場の完璧な効率への信頼は、長期的にはうまくいくけど、短期的には良い仕事をするための習慣がたくさんあるんだよね。

そうだね。もし女性が男性の1ドルに対して80セントしかもらってないなら、男性は雇用されなくなるよ。

Mythic BeastsがRaspberry Piサーバーをレンタルしてるよ: https://www.mythic-beasts.com/order/rpi/ - こういうニッチもあるんだ。

公平に言えば、プレイステーションについても同じことが言われてたよ。

それが一番の後悔だけど、これまでに6つのKickstarterプロジェクトを支援してきた。中央値の納品時間は1年。なぜか、支援したアイテムはすべていつかは発送されてきた（これは予想外）。ハードウェアスタートアップは本当に難しいし、いくつかのプロジェクトと関わった結果（通常はニッチな市場で面白いアイデアを持った1人か2人）、半分以上は最初の小売製品を届ける前に失敗してるみたい。中にはプロトタイプやクラウドファンディングボードを届けるところまで行くものもあるけど、発送や物流の悪夢のせいで、もう完全に混乱してる状態になってる。

コスト効果の高い方法はクラウドでやることだね。だって、学びたいことは全部学べて、クラウドの請求書がデスクトップの価格に達する前に飽きちゃう可能性が高いから。

これについて計算してみたんだけど、最新のMx Ultraプロセッサを搭載したMac Studioを調達して、メモリを最大限にするのが100b+パラメータモデル空間に入るための最もコスト効果の高い方法みたいだよ。

中古のラックマウントサーバーをAmazonで買うのもコストパフォーマンスがいいよ。保証は切れてるかもしれないけど、その分パワーがかなりあるし、VMも小さくする必要がなくなるからね。

結論は出てないと思う。従来の計算ではパワーとコストで勝ってるけど（スペースでは常に負ける）。推論では、llama.cppのVulkanバックエンドのせいでGPUが使えないし、llama.cppのクラスタリングソフトもイマイチって言われてる。AIにはまだ悪い結果になると思うけど、ソフトウェアの未熟さが原因かもしれない（今は価値がないけど、もっと良いソフトウェアがあれば変わるかも）。

著者がブログやYouTubeチャンネルのコンテンツを作るためにこれをやったと考えると、納得がいく。後から「後悔」エントリーで再利用することで、かなり怪しい事業をさらに利用できる。YouTubeには、家での「ラボ」みたいなAI構築を提案する人たちが山ほどいるけど、ほとんどがひどくアドバイスされてる。だけど、そういうコンテンツは人気があるみたい。例えば、アレックス・ジスキンドのコンテンツとか。人々が実際に何千ドルも投資して、比較価値のないパフォーマンスの悪い超量子化されたローカルAIを持つことになるのが心配。

面白い事実だけど、ラズベリーパイには内蔵のリアルタイムクロックがなくて、バッテリーもないから、時間を保つのはネットワークの時計に頼ってるんだよね。もう一つの面白い事実は、ラズベリーパイのネットワークモジュールはUSBバスに接続されてるから、オーバーヘッドやスループットの制限があるんだ。さらに面白いのは、ラズベリーパイには電源ボタンがなくて、ソフトウェアでクリーンにシャットダウンする必要があるってこと。もしマシンへのアクセスを失ったら、ディスクの状態が壊れるのを避けることはできないよ。とはいえ、もし自分でウェブサイトをホストしたいなら、ラズベリーパイは2人から2万人の月間ユーザーまで、コストパフォーマンスがすごくいい選択肢だよ。一台のラズベリーパイで十分すぎるくらい対応できるし、冗長化のためにオーバーキルなラズベリーパイを用意することもできるけど、単体でも365日問題なく稼働できるからね。再起動したり、電源を失ったり、インターネットが切れなければ、信頼性もかなり高くなるよ。でも、もし3台目、ましてや10台目のラズベリーパイを考えてるなら、スケールの仕方を間違えてるかも。数量が重要になる前に、1台か2台のマシンの質を上げる方がコスト的に効率的だよ。組み込みの方も同じで、プロトタイピングには最適だけど、10,000台発注して量産することはないだろうね。せいぜい100台のテストバッチくらいかな？でも、大量生産の前に自分のPCBを最適化して作ることになるよ。

Geerlingのタイトルは、最近ずっとクリックベイトっぽくなってるよね。ちょっと悲しいな、彼のコンテンツは好きなのに、クリックベイトのクソみたいなのは嫌いだ。

著者のジェフ・ギーリングは、すごく頭のいい人だよ。ニッチなハードウェアの使用経験は、地球上のほとんどの人よりも多いと思う。彼が何かをやる時は、だいたい良い理由があるんだよね。

こういうことが不思議なのは、技術的な知識がなくてもその結論に達するべきだってことだよね。みんながAIをGPUで動かしてるって事実や、AIブーム以降にNVIDIAの株が急上昇したことを考えれば、何かを感じるはずじゃない？OPは本当に人間がそんなに馬鹿だと思ってたのかな？ラズベリーパイをいくつか繋げることができるってことに気づかなかったなんて。

誰かがPiクラスターを作るとき、コストパフォーマンスが良いと思ってやってるとは思えないよね？ラズベリーパイの製品は損失で売られてることもあるから、可能性としてはあり得るかも。

これは絶対にタイプミスだね。記事の文を3回読んでも意味が分からなかったけど、数字を見てやっと理解できた。要するに、Frameworkのデスクトップを1台買えば、OPのPi AIクラスターよりもコスト、パフォーマンス、効率、手間など、すべてのパフォーマンス指標で優れてるってこと。

そういえば、El CapitanはAMDのCPU（統合GPU機能付き）を使ってて、最近ランキングのトップにいるよね。Frontierも同じ構成でそのすぐ後ろにいるし。専用のGPUを自分のデータバスとメモリで持つのが必ずしも最速の方法ってわけじゃないんだよね。

残念ながら、RTX 6000 Proでも倍精度のスループットが約2 TFLOPSで、単精度の64倍遅いんだよね。比較すると、EPYC 9755は約10 TFLOPSで、消費電力も少ない。A100も、見つけられれば同じくらいの性能だよ。HPCに興味がある趣味者にとって、倍精度のスループットでのベストオプションは、AMDの古いカードかもしれない。彼らも科学者が高精度にお金を払うことに気づく前のやつね。

まったく同意だね。ああいうビルダーの知識を持ってる人なら、普通のGPUがその計算能力を10倍にできるってことはもう分かってるよ。

それはほぼ当然だけど、最近のコンテンツからの本当の教訓は、何をしていても、今の時代はラズベリーパイを買うのが正解ではないってことだね。スペックと価格が全然合わなくなってきてるし、最近はかなり停滞してる感じがする。

もしダン・ルーがこのスタイルのコンテンツにシフトしてたら良かったのに。

でも、ジェフの動画は新鮮だよ。他の多くは、基本的にYouTube動画を作るために技術をレビューしてるループにはまってるからね。レンダリング時間、色の正確さ、カメラの解像度、音質とか。

ちょっと関連するけど、AMDのマルチチップワークステーションパッケージで古いMPIプログラムを動かすのがもっと大きなトレンドになると思ってたんだよね。

正直、そんなにCPUパワーが必要なの？Erlangをインストールして、手元にあるポテトレベルのLinuxボックスでいくつかノードを立てるだけで、分散システムで遊べるよ。ラズパイ一台でもいけるし。

これ、何年も言ってるんだけど。最後のラズパイ不足の時、みんなおもちゃのクラスターを作るために必死になってたのが残念で仕方ない。ラズパイは教育用に作られたけど、ほとんどが無駄になってる気がする。俺は一台のxcp-ngインスタンスでK8sの「クラスター」を動かしてるけど、そこまでやらなくてもいいんだよね。Docker Machineなら、一つのコマンドで簡単にDockerホストを立ち上げられるけど、そのプロジェクトは今や死んじゃったみたい。Docker Swarmは、サービスのスケールアップ/ダウンができるから、ハイパーバイザーは必要ないと思う。

そんなにCPUパワーはいらないよ、古いクアッドコアでも十分だし。