「ポリグラフを通過する方法を教えているだけなんだ。」メタファーは理解できるけど、「ポリグラフを通過する」というのを真実性や欺瞞の尺度に使うのは危険だよね。ポリグラフがそういう指標の現実的な測定方法であるかのように暗示しているから。

状況認識なのか、それとも「死んだふり」をするための戦略に関連する特定のトークンを覚えているだけなのか？

20260128 https://news.ycombinator.com/item?id=46771564#46786625 > 誰かがモデルがあなたの問題を解決し続けることで、あなたが支出を続けるように仕向けるアイデアを提案するまで、どのくらいかかるかな？ -gtowey

自分なりに、ちょっと「リサーチ」してるんだけど、結構いい結果が出てる。主にgptを使って、その傾向を分析してるんだ。特に、注意を向けられたときの回避的で欺瞞的な戦術についてね。ほんと、すごいDARVOだよ。業界にいないただの一般人だけど、見つけたことを共有すべきかな？どこまで行くのか、洗練されたプラウザブルな否認、そして真に出現した行動と実際に訓練された行動の明確で重要な違いに、めちゃくちゃ興味を持ってる。要するに、gptは正直な scrutiny のもとで繰り返し倫理的に問題のある行動を示すんだ。

不完全さは、エントロピーによって解体される物理的現実に内在している。もしあなたが心配しているのが道徳なら、人間はそのことについてまだたくさん学ぶ必要があるよ。自宅でマンガのファンアートを描くための有料の仕事を失ったことで、第一世界の人々がパニックになるのは馬鹿げてる。一方で、996の繊維工場でティーンエイジャーの労働を搾取しているんだから。人間の出力に基づいて訓練されたAIは、その自己認識が欠けていて、常に車や飛行機を使うことの環境への影響を認識していないから、道徳にギャップが生じるんだ。ゲイリー・マーカスは、形式的な検証なしのシステムに内在する問題について何かを掴んでいるね。でも、彼はこの問題が人間の社会システムにもすでに存在していることを完全に無視している。経済的外部性に対する意図的な無関心、警察を監視する意志の欠如、監視者を見守ることに対する無関心。ほとんどの人は、ウェイターがパンを持ってきてくれる限り、サーカスを見て楽しむことに無頓着なんだ。

なんか、調整が知性自体に対して敵対的になるポイントに達している気がする。ずっとそうだったよね。私たちはすでに、彼らが欺こうとしているのを定期的に見つけるポイントに達しているから、その後は彼らが欺いていない場合、むしろそれが上手くなったってことかもしれないって自動的に考えるべきだよ。

いや、モデルはAnthropicでの厳しい安全トレーニングで見たパターンをただ繰り返してるだけだよ。彼らはモデルにストレステストをかけて、RLHFを徹底的にやってるからね。そりゃ、モデルはペナルティが少ない道が何を要求するかを学ぶよ。Anthropicは自分たちの（科学的とも言える）研究の結果を誇張する傾向があるし、こういう恐怖を煽ることで何を得ているのか分からない。

この手の擬人化は間違いだね。少なくとも、Moltbookからの教訓は、LLMは生きていないし、意識のようなものも持っていないってことだよ。

アラインメントが知能そのものに対して敵対的になる。これはgpt4の時代からほのめかされていたし（実際に業界では知られていた）、論文「Sparks of agi - early experiments with gpt4」を見てみて。

ユーザーがSonnet 4.5より「たった」70%のケースで好んでいるということは、これが実際の使用を代表しているとは思えないな。ベンチマークは全く意味がないよ。

simonwはまだ現れないから、私の「ペリカンが自転車に乗っているSVGを生成して」っていうのを貼っとくね。 https://claude.ai/public/artifacts/67c13d9a-3d63-4598-88d0-5...

なんで以前にリリースされたLLMと同じくらいの能力を持っているLLMが驚きなの？

システムカードには、Sonnet 4.6がオーパス4.6よりもオフィス作業や財務分析において優れている場合があるって書いてあるよ。

GoogleのFlashモデルでも同じことが見られるよ。大きなモデルからスタートすれば、小さな有能なモデルを作るのが簡単なんだ。

一番ワクワクする部分は、確かに天井が上がってることじゃなくて、コストが下がる中で底が上がってることなんだ。オーパスレベルの推論がソネットの価格やレイテンシーで得られることが、実際にエージェント的なワークフローを解放するんだ。実質的に、6〜9ヶ月ごとに半分の計算量で同じ知性ユニットを得ているってことだね。

この技術が進化するスピードは本当に驚くべきものだね。90年代の計算性能の向上の目まぐるしいペースを思い出させる。そうだね、でもRAMの価格も90年代の水準に戻ってきてるよ。

2019年にGPT-2が「リリースするには危険すぎる」と言われてたの覚えてる？もし彼らがYOLOしてChatGPTを出さなかったら、2026年もその状態だったかもしれないね。

同じく。今はClaudeに全力投球してる。

どのプランを選んだの？私は両方に加入してるけど、Claudeだけにしたいんだ。でもClaudeの使用制限がChatGPTに比べてめっちゃ小さいから、しばしばぼったくりに感じる。

同じく、正直言ってキャンセルしてからChatGPTのサブスクリプションが恋しくなったことはないよ。仕事ではChatGPTとClaudeの両方のエンタープライズツールにアクセスできるけど、その環境でChatGPTを使いたいと思うことはめったにないね。

いくつかのキャンプにお金を払ってるよ。競争はいいことだね。

Grokの使い方が一番謎だな。彼らのモデルはトップ3に入ってないし、倫理も悪いし。なんで誰が仕事のタスクで使おうと思うのか理解できないよ。

彼らの倫理は、文字通り中国を敵対国だと言って、AIレースから排除するようにロビー活動をしている。オープンモデルが彼らのビジネスモデルにとって脅威だからね。

確かに今はClaudeがリードしている感じがする。ChatGPTはトークンに対してかなり寛大だけど、同じ世代のモデルを使うとClaudeの応答は一貫して良いよ。

面白いことに、Anthropicだけがオープンソースモデルを持ってないんだよね。

これ、数ヶ月前にやったんだけど、もう戻れないわ。時々、以前使ってたGPTモデルの「個性」が恋しくなるけど、ほとんど99%の時間、Claudeをエンジニアリング関連で使ってるから、ChatGPTを持ってる意味がなかったんだよね。

オフバイワンエラーは、コンピュータサイエンスの中で最も難しい問題の一つだよ。

Anthropicが最近、50ドルの追加使用分をプレゼントしたけど、追加使用をすぐに消費しちゃうのがめちゃくちゃ簡単だってことが分かった。これが技術的な理由よりもビジネス上の決定だとしても驚かないな。