それをやるのは面倒だから、朝のコーヒーのお供にFireshipで我慢するわ。

+1 - すごく質が高くて、ほとんどクリックベイトがないね。

ITに関するすべての技術に対して、これが僕の態度だよ。

追いつくのは90mphのトレッドミルに飛び乗るようなもんだ。もうやめることにしたよ。AI（今はLLMも含めて）は一過性のものじゃなくて、消えないと思うけど、今はすごく変動が激しい状態だね。必要になるまで、あまり時間を投資しないつもり。数年後には景色がもっとはっきりすることを願ってる。そうじゃないかもしれないけど、少なくともすぐに関係なくなったものに時間を無駄にしないで済むからね。今は日常の仕事でAIやLLMを使ってないよ。

そうだね、これらの企業は信じられないほどの投資をしてるし、自分たちの製品を秘密にするのは存在意義に反するよね。

^ https://simonwillison.net

ありがたいことに、彼にはRSSがある！

「[サイモン]に少なく送ってもらうためにお金を払うことができる」($10以上のGitHubスポンサー) > これは、過去1ヶ月のLLMに関する重要な進展を10分でキャッチアップできるように意図されている記事だよね。 https://simonwillison.net/about/

LLMの仕組みを基本的に理解しているなら、ほとんどのLLMニュースは以下のいずれかに当てはまると思う： - LLMを使うための少し違ったツールを作った人（既存のツールがニーズを満たすかどうかで役立つかどうかは別として） - 何かで少しだけ優れたモデルを作った人（あるベンチマークで前の最先端を数パーセント上回るもの。興味深いけど、こういうのは常に起こってるし、新しいモデルは数ヶ月後には古くなるから、たぶん来年の1月にはKimi-K2やGPT 4.1なんて誰も気にしないだろうね） ほとんどの人はそういうニュースを無視しても問題ないと思う。一方で、以下のようなLLMニュースもある： - モデルに全く新しい能力を与える方法を見つけた人。例：RLや思考の連鎖。今は実際に動くコーディングエージェント。コンピュータの使い方。真のエンドツーエンドのマルチモーダルモデル。インテリジェントなツールの使い方。ほとんどの人はこういう進展に注目すべきだと思うし、次に何が来るのかを楽しみにするべきだよ。でも、大きな能力の飛躍は珍しくてワクワクするから、500ポイント以上のHNの投稿をざっと眺めるだけでも最新情報をキャッチできると思う。他のテクノロジースキルと同じように、LLMやその能力を理解する最良の方法は、ブログや動画ではなく、実際に何かを作ることだと思う。ツールが何ができるのか、何がうまくいくのか、何が自分の仕事に直接役立つのかを自分で体験することが大事だよ。

同意するけど、運転中に寝るのはマズいタイミングだと思う。俺は「何も起こらない」タイプだけど、LLMの仕組みをちゃんと理解しようとしてない人が多いのは大きな間違いだと思う。先週、同僚にClaude Codeの基本的な使い方を教えたら、「え、こんなのあったの？」って驚いてた。おいおい、何やってんの？ 確かに盛り上がってるし、LinkedInの狂った連中は楽しんでるけど、SOTAでできることをちょっと試してみるのは悪い投資じゃないと思う。

この意見には強く同意するし、ブログの「ハイシグナル」のリストは「自己宣伝」リストに近いと思った（そこに関わった良い人たちもいるけど、あのリストは洞察よりも「バズ」って感じ）。投稿で言われてる「生成AIは私の人生で見た中で最も早く進化している技術だ」という主張には同意できない。著者のことはわからないけど、俺は「SVMが新しいホットな技術で、ニューラルネットワークはジョークだ！」って言われてた頃からこの分野にいて、ディープラーニングの爆発や、2010年代の多くのDLフレームワークの登場を見てきた（制限ボルツマンマシンや事前学習の実装を覚えてる？）。同じ時期に「UXを向上させる以外にJSを使うな」から、シングルページアプリが標準になったのも見た。もし誰かが「ハイシグナル」の人たちのリストに入りたいなら、実際にこれらの解決策が必要になるまで頭を下げておく方がずっといい。例えば、俺はbackbone.jsの頃にウェブ開発の仕事を辞めたんだけど、シングルページアプリのフロントエンドMVCの初期の試みの一つだった。そしたら、ReactとAngularの大戦争が始まって、無視してた。10年後、ウェブ開発チームで働いてReactを数日で学んだけど、変化が止まらない時期に「追いつかなきゃ」ってストレスを感じなくてよかった。もう一つの例は、5年前にはみんなLSTMをゼロから実装しようとしてたのに、トランスフォーマーの登場でそのモデルが実質的に時代遅れになったこと。キャリアの中で何度も、速く動くことは未熟であることの別の言い方だと学んできた。GLMについて学んだり（生存分析の問題を特定する理解を持つことなんて、神に禁じられたことだが）、日常の問題解決においてまだ評価されていない使い方を学ぶ方が、「今週のプロンプトハック」を学ぶよりも成功すると思う。

LLMを人に説明する時、よく高レベルのアーキテクチャが一番興味を持たれる。トランスフォーマーじゃなくて、トークンごとの予測戦略（自己回帰）だし、必ずしも最も可能性の高いトークンを選ぶわけじゃなく、可能性に比例したトークンを選ぶ。次のトークン予測の細かい部分は、一般の人にはあまり評価されない。彼らはドット積や埋め込み、その他のことには興味がない。ほとんどの人が理解できないし、保持できないし、評価もしないから、その部分を説明するメリットはほとんどない。

ただのテキストモデルじゃないよ。いろんなタイプのデータのモデルだ。ほとんどの現代のモデルはマルチモーダルだね。

正直言って、これは研究の側面でも大体合ってる。確かに、99%の研究は常に漸進的だし（それは全然悪くないよ！レビュアー#2に気を取られないで）。たくさんの論文には無駄な情報が詰まってる。つまり、これらのシステムを理解するための強いバックグラウンドがあれば（正直、数学の知識があるとかなり役立つ。多くの論文は「この数学アイデアを試しました」って感じだから、もしそれを知っていれば、その効果を予測できる）。フィールドが速く進んでいるように感じるのは簡単だけど、実際はそうでもない。パートナーの世話をしなきゃいけなかったときに、1年を無駄にした経験がある。戻ったときにはかなり遅れをとったと思ったけど、実際にはあまり変わってなかった。こういう視点を持つことが「追いつく」助けになると思う。今苦労しているなら、まだ深さが足りないだけかもしれない。それは全然問題ないよ！ただ、追いつくために違うことに集中するように促されるかもしれない。まず走り方を知らないと、一歩遅れることはできないよ。他のインスピレーショナルな比喩を入れてもいいけど。焦りは頭の中にあるだけで、現実にはないんだ。

同意だね。いくつかのコードアシスタントを試してみたけど、能力に大きな違いは感じなかった。主にUIの違いだよね。エディタに入れるか、ターミナルで使うか、ブラウザで使うかって感じ。競争が激しいから、話題になってるものは結構良いものが多い。

いろんなモデルがどう機能するかはかなり理解してる。でも、私が運営しているビジネスは、最新のモデルを活用することで大きな利益を得てる。超低遅延のYOLOスタイルのモデルや「SOTA」の高性能なViT、LLMなど、いろいろね。PR関連の情報を集めるファネルを維持してるけど、論文やベンチマーク、GitHubに直接飛んでる。

モデルの名前を覚えたり、使い方を理解したり、MoEのような概念を知ったり、拡散モデルとトランスフォーマー、エージェントなどの異なるアーキテクチャを理解する必要がある。そして、FluxのようなGenAIやオープンソースプロジェクトもある。これらを把握しておくのは有益だと思うし、いざ自分に関係する時が来たときに驚かないようにするためにも、常に目を光らせておくべきだよ。

同意だね。これが私が学生に言ってることだよ：1. 他人の経験を生きるのをやめて、自分の経験を始めよう。2. ブログを読むのをやめて、アプリを作ろう。3. 誰の経験も使い方や制限によって異なる。理由を理解せずに誰かの意見やイデオロギーを追いかけないで。4. TwitterやSubstackで従業員や研究者を追いかけるのに時間を無駄にしないで。ほとんどの人は自分自身や会社を宣伝してるだけだから。5. 不安やFOMOに時間を奪われないで。実践を通じて学ぶことに集中しよう。重要なことが出てきたら、結局は知ることになるから。6. 情報を得ることは大事だけど、情報に執着することは重要じゃない。時間の管理を賢く行うことが大切だよ。これが私が彼らに言ってること。

確かに、テックの世界から出て新しい生活を始めるのもアリだよ！テックの仕事は減少していくし、いずれ崖から落ちるように減っていく。昔の10人分の仕事を1人でやるようになるからね。今週、GPT Plusをキャンセルしたよ。もうあの獣に餌をやるつもりはない！それに、Geminiみたいに無料で地図を生成できないし（友達と共有するための旅行地図や、クリークのチュービングマップなど）、全然ダメなんだよね。

そうだね。何か別のことをする時だね。

その通り。最近「追いつく必要があるのか？」って疑問に思ってる。AIの革新が進む中で、役立つものは結局メインストリームに入ってくるし（私のところにもね）。スプレッドシートやGoogle Docsの初期開発を「追いついて」使わなかったけど、広まったら普通に使えたし、何も逃してないよ。もしAIスタートアップを立ち上げて、資金が尽きる前にPMFを必死に探してるなら、急ぐ必要があるかもしれないけどね。

うん、いろいろ試してみるのに数時間使う方が、ただ読んでるよりずっと価値があるよ。