世界を動かす技術を、日本語で。

クロードはブロックを組み立てるのが得意だが、作ることにはまだ苦労している

概要

Opus 4.5(Claude)は大きな進化を遂げたが、全能ではない。 実用例では単純作業の自動化には強いが、抽象化や本質的な設計は苦手。 AWS移行やSentryデバッグなどの反復作業は得意分野。 Reactの複雑なリファクタでは、誤った提案をしやすい傾向。 良い抽象化やインフラがあれば力を発揮するが、それ自体は創造できない。

Opus 4.5の実力と限界

  • Opus 4.5(Claude) の登場で「AGIが近い」との声が高まる現状
  • 実際のコードベース で数週間使った結果、単純な評価では語れない現実
  • 既存の良質な設計や抽象化 を組み立てるのは得意だが、ゼロから創出するのは苦手
  • 三つの実例 (Sentryデバッグ・AWS移行・Reactリファクタ)で傾向を検証

Sentryデバッグ自動化の成功体験

  • PlaywrightとSentry を組み合わせたデバッグループの自動化
  • Claude が自律的に90分間問題解決に取り組み、最終的に成功
  • Sentryのトレース を活用し、手動の試行錯誤作業を大幅に短縮
  • FastAPIのStreamingResponse に関する特殊ケースも自力で発見
  • 反復的な検証作業 では人間の負担を大きく軽減

ModalからAWS ECSへの移行事例

  • ModalからAWS ECS への移行をClaudeが3時間で一発成功
  • TerraformやAWS CLI を駆使し、Dockerfile作成や権限設定まで自動化
  • 従来なら1〜2日かかる作業 を深夜に短時間で完了
  • 細かいミスやドキュメント調査 をAIが肩代わりするメリット
  • 抽象度の高いインフラ構築 でも成果を発揮

シニアエンジニアの視点とAIの壁

  • 優れたエンジニア とは、非自明な改善点を見抜き、抽象化を洗練できる人材
  • sweeks氏 のように「コードガーデニング」を地道に行う姿勢が重要
  • AIは“ハック的な修正” には対応可能だが、本質的なリファクタは苦手
  • Reactの複雑なリファクタ では、Claudeが非効率な提案をし、コードベースを悪化させるリスク
  • 本質を見抜く力や美意識 はAIにはまだ備わっていない

Claudeの強みと限界

  • 良質な抽象化やインフラ(レゴブロック) があればAIは高いパフォーマンスを発揮
  • SentryやTerraform、Playwright などの優れたツール上では強力な自動化が可能
  • 一方で、抽象化自体の創出や設計 はAIには困難
  • 「Claudeには魂がない」 という指摘:美しいものを生み出す意志や本質的な設計力の欠如
  • AIは優れた道具 だが、エンジニアを完全に置き換える存在ではない

今後のエンジニアとAIの関係

  • AIの進化でルーチン作業は自動化 され、エンジニアの価値はむしろ上昇
  • 良い抽象化・インフラの設計 がますます重要に
  • AIの限界を理解し、適切に使いこなす ことが現代のエンジニアに求められるスキル
  • Opus 4.5は素晴らしいツール だが、過度な期待は禁物
  • 「AI時代のエンジニアの本質」 を再認識する必要性

Hackerたちの意見

私の経験では、Claudeは「良いジュニア開発者」みたいな感じだね。できることはすごく上手だけど、他のことはFUBARしちゃう。でも全体的には、ちゃんと説明すればタスクを任せられる存在。もし/いつかミッドレベルのエンジニアの能力に達したら、革命的になると思う。普通、ミッドレベルのエンジニアは、最小限の監視で正しいことをやってくれるし、不完全な指示を理解して質の高い結果を出せる(しかもジュニアをトレーニングすることもできる)。その時点で、人間のジュニアエンジニアが必要なのは、彼らがアーキテクトに成長して、Claudeエージェントの群れをまとめてアプリケーションを開発したり、複雑なタスクやイニシアティブを完了させたりするため。そうなると、Claudeは何ができるかっていうと…ビジネスや市場全体を分析して、製品の特徴や業界の非効率、ギャップ分析を決定して、それに対処するプロジェクトを定義し、エージェントの艦隊を調整して、ビジネス全体を変えたり、根本的に方向転換させたりすることができるの? CEOと大規模なClaudeアカウントだけが残るなんてことにはならないと思うけど、考えれば考えるほど、完全にSFってわけでもない気がする。

CEOと大規模なClaudeアカウントだけが残るなんてことにはならないと思うけど、考えれば考えるほど、完全にSFってわけでもない気がする。 その時点で、CEOは本当に必要なの?

私の経験では、Claudeは「良いジュニア開発者」みたいなものだ。もう何年もこれを言ってるよね。あなたには同意しないけど、これらのツールが「素晴らしいシニア開発者」に卒業するのはいつなの?サム・アルトマンが約束した「2025年末までに超人的なコーダー」はどこにいるの?これらの企業が宣伝しているベンチマークと、実際のツールのパフォーマンスとの間にこんなに大きなギャップがあるのはなぜなの?理由はわかってるけど、詐欺やガスライティングは疲れるよね。[1]: 実際、私は彼らを「良い」ジュニアとは言わない。良いジュニア開発者と一緒に働いたことがあるけど、彼らはどんな「AI」システムよりもずっと能力があるから。

クロード(他のエージェントもだけど、主にクロード)との経験は本当に混沌としてる。時には最小限のプロンプトで、20分後にはきれいなPRを作り出して、すべてがうまくいくこともあるけど、そうじゃないこともある。時には大きなプロンプトを受け入れて(自分のプロンプトや他のLLMが作ったもの、計画モードによるものなど)、成功することもあれば失敗することもある。私にとって、失敗ケースのほとんどは、クロードが文脈の中の矛盾する情報を理解できず、ただ止まって「それは解決できません」と言う代わりに、全く間違った方法で解決しようとすることだ。それが、私が考えるのと同じ前提を持っていることが多いから、計画を読むと問題なさそうに見える。労力のレベルも測りづらい。クロードは、私が1週間かかることを1時間で終わらせることもあれば、私が20分でできることに1時間かかることもある。まるで二つのレベルのコンプライアンスを強制しなければならないみたいだ。コードはビジネスの要求に応えているか、コードベースと整合しているか。最初の方は比較的簡単だけど、それだけやっても、クロードが探索中にsome_file.{好きな言語の拡張子}を見なかったせいで+1KLOCを生成するような奇妙な結果を生むことがある。ある機能ブランチでレガシーコードの5つのバージョンを作成することもある。兄弟よ、何と互換性を保とうとしているんだ?潰されて忘れ去られるコミットか?それなら、圧縮を行って、これら5つのバージョンのうちどれが「ライブ」かを忘れて、間違ったものを更新することになるかも。クロードは良いジュニア開発者の仕事をするかもしれないけど、今日雇われたジュニア開発者からのPRとしてレビューされるべきだ。

LLMはただの優れた検索機能だよ。何かを作るように頼むと、事前にトレーニングされた重みの中で検索してる。何かを見つけてほしいと頼むと、コードベースの中で意味的に検索してる。何かを修正してほしいと頼むと、その両方をやる。これがただの検索だって理解すれば、すごく良い結果が得られるよ。

「ただの検索」って呼ぶのは、コンパイラを「ただの文字列操作」って呼ぶのと同じ。間違ってはいないけど、ポイントを完全に見失ってる。

より良いメンタルモデル: それは人間の知識の損失圧縮で、斬新(時には役に立つ、時には雑)な方法で解凍して再結合できるもの。従来の検索は単に取得するだけだけど、LLMは合成もできる。

ある程度同意するけど、特に論理の使い方に関してね。彼は人間の言語から論理を引き出すだけで、実際、あれはめちゃくちゃなんだよね。以前にも言ったけど、人間の活動の大半は派生的だと思ってる。誰かに新しい動物やエイリアン、ランダムな物体を考えさせると、必ず以前に見たものを基にするんだ。本当にオリジナルな考えや物はこの世界では絶対に珍しいし、ほとんどの「オリジナルな」考えは他人が作ったものを参考にしている。そういう人たちは自然界からインスピレーションを得ているんだよね。私たちは、物Aと物Bを組み合わせて「新しいものを作った!」って発表するのが得意なんだ。誰か、完全にオリジナルなコンセプトを返信してくれ!最近、ゲームのプロトタイプを考えているときに、魔法ベースの物理システムを作ろうとして同じ問題に直面したんだ。

それは違うよ。

ただの検索だと理解すれば、いい結果が得られる。これは問題を過小評価していて、文脈を無視していると思う。検索エンジンで検索するのがどれだけ

これは非常に役立つモデルだけど、完全ではないね。新しいものを作るなら、一日中かかるし、たくさんのガードレールが必要だってことを認めなきゃいけない。でも、その概念を後で検索することができる(リポジトリをワークスペースに追加して、プロンプトを使う)と、エージェントはそれを広く使われているパターンのように他のところにも適用するんだ。「ただ検索する」っていうのはちょっと合わないね。後で簡単に検索できるように何かを作るために、検索エンジンをどう使うかを考えたことはないよ。

検索がそのものの複雑な関係を理解する能力を捉えているとは思えない。2000行のPRの中で本当のバグを見つけるのは検索じゃないよ。

Hacker Newsで議論の続きを見る