ハクソク

世界を動かす技術を、日本語で。

自己改善のためのハーネスエンジニアリング

2026年8月4日原文(lilianweng.github.io)

概要

  • 本稿は Recursive Self-Improvement（RSI） の概念とAIハーネス設計の関係を解説
  • ハーネスエンジニアリング がRSIの初期段階で果たす役割に焦点
  • 主要な 設計パターン と実例（Coding Agent Harness等）を紹介
  • コンテキスト管理 の進化（ACE, MCE, Meta-Harness）を整理
  • 今後の RSI発展の方向性 と現実的な課題を考察

Recursive Self-Improvement（RSI）とAIハーネスの基礎

  • RSI はI.J. Good（1965）により提唱され、「超知能マシン」が自らを改良する概念
  • Yudkowsky（2008）は AI自身が知能を高めるフィードバックループ としてRSIを定義
  • 現代AIでは、モデルが 自身の重みを書き換える だけでなく、 トレーニングパイプラインやデプロイメントシステム を改良する形も含む
  • AnthropicやOpenAI 等の先端研究所で、AI研究開発の加速が顕著
  • ハーネス はAIモデルの外部を取り巻くシステムで、実行制御・ツール呼び出し・文脈管理・成果物保存・結果評価等を担当

ハーネス設計パターンとRSIへの貢献

  • 近年の 自動研究（auto-research）・自己改善エージェント・進化的プログラム探索 はハーネス設計と密接に関連
  • 自己対戦・合成データ・テスト時トレーニング・継続学習 等もRSIのビジョンに合致

ハーネス設計の進化

  • 初期の「エージェント=LLM+メモリ+ツール+計画+行動」から、 ワークフロー設計・評価・権限管理・永続状態管理 を含む形に発展
  • ソフトウェア工学 の知見を活かし、設計はシンプルかつ汎用的に
  • オペレーティングシステム（OS） との類似性：複雑なロジックをカプセル化し、インターフェースは単純化

パターン1：ワークフロー自動化

  • 目標指向ループ（計画→実行→観察/テスト→改善→再実行）が基本
  • Karpathyのautoresearch リポジトリが代表例
  • モデルが 自身の軌跡や失敗例を分析し、反復的に自己改善 を行う

パターン2：ファイルシステムを用いた永続メモリ

  • 長期的なエージェント運用では ファイルによる状態・成果物管理 が重要
  • bashコマンド 等でファイル操作を学ぶことがLLMの基礎スキル
  • ログ・コード差分・エラー履歴 等をファイルとして保存し、文脈ウィンドウ外の情報も活用

パターン3：サブエージェントとバックエンドジョブ

  • 複数サブエージェント の並列実行と監視で効率化
  • ジョブ管理（起動・ログ監視・失敗時キャンセル・結果統合）を親エージェントが担当
  • ファイルやステータス記録により、 実行履歴の回復・自己推論 が可能

Coding Agent Harnessの事例

  • Claude Code, Codex, OpenCode, Cursor等の 主流コーディングエージェント でハーネス設計が標準化
  • ツール群 へのアクセスで、リポジトリ内の開発・デバッグを自動化
    • ファイル発見・読み書き・編集・パッチ適用
    • シェルコマンド実行（bash, PowerShell等）
    • gitツール、Web検索、ドキュメント/画像生成
    • バックエンドプロセス管理、エージェント委任等

ハーネスレイヤとコア知能の関係

  • 今後の RSI初期段階 では、モデル自身の重み直接改変より ハーネス設計の進化 が中心
  • ハーネス自体が 最適化対象 となり、より一般的な仕組みへ移行
  • オートリサーチや自己改善ループ をハーネスが支援し、過剰なルール化を防ぐ
  • 最終的には一部ハーネス機能がモデル内部に内包されるが、外部ツールや文脈とのインターフェースは残存

ハーネス最適化の進化

  • 最適化対象の推移： 命令プロンプト→構造化文脈→ワークフロー→ハーネスコード→最適化器コード
  • モデルの知能向上に伴い、より複雑かつ汎用的な最適化へ

コンテキストエンジニアリングの発展

  • 全てのツール応答や生成物を文脈に追加 すると、長期的には管理不能に
  • コンテキスト管理層 で、構造化・要約・永続化を実現
  • 長文脈化研究 と コンテキストエンジニアリング の融合が進行

Agentic Context Engineering（ACE）

  • ACE（Zhang et al. 2025） は文脈を進化するプレイブックとして扱う
    • Generator ：タスク軌跡生成
    • Reflector ：成功・失敗から洞察抽出
    • Curator ：箇条書き形式で構造化文脈を更新
  • 冗長な全文書き換えを避け、識別子＋説明の箇条書き を逐次統合・重複排除

Meta Context Engineering（MCE）

  • MCE（Ye et al. 2026） は「文脈管理の仕組み（メカニズム）」と「文脈内容（アーティファクト）」を分離
    • スキルs が入力xを文脈cへ写像
    • 静的要素（プロンプト・知識ベース等）と動的演算子（検索・選択・整形等）で構成
    • 二段最適化 ：内側で文脈最適化、外側でスキル最適化
    • 履歴データベース で過去スキル・文脈・評価メトリクスを管理
    • メタレベルエージェント がスキル交叉で新スキル生成、ベースレベルエンジニアがロールアウトフィードバックで文脈関数を学習
    • 文脈関数はディレクトリ内のファイル群（skill.md, context, data等）で実装

Meta-Harness

  • Meta-Harness（Lee et al. 2026） は「ハーネス自体の最適化」を目指す
  • メタ的な外部ループ最適化アルゴリズム で、どの情報を保存・取得・提示すべきかを最適化
  • 新ハーネス作成の提案者自体が コーディングエージェント であり、自己改善ループを実現

このように、 ハーネス設計とコンテキスト管理の進化 が、現実的なRSI実現の鍵を握る。今後は メタ最適化 や 自律的なスキル進化 が重要性を増し、AIシステムの自己改善能力を飛躍的に高める可能性がある。

Hackerたちの意見

トーメントネクサスの探求は続いてるよ。

└

もし俺たちが最初にトーメントネクサスを作らなかったら、もっと責任感のない誰かが先に作っちゃうかもしれない。リーダーシップを取らないのは無責任すぎる。トーメントネクサスのIPOに最初に到達するためには、安全面の懸念を捨てる必要があるかもしれない。

└

トーメントベンチを楽しみに待ってるよ。

コーディングエージェントが常にやってる非常に効果的な自己改善の一形態：環境を変えるために使えるものをインストールしたり作ったりすること。エージェントとその環境はどれくらい別物なのか、そして自己改善に関してこの区別を適用する理由は何なのか？動物や人間も同じことをしてて、それが得意なんだよね。「自己」に重点を置かない「自己改善」なしで。

└

デカルトを責める？わからないな。拡張された認知理論は全部否定されちゃうし、もっと「大陸的」だと非難される分析哲学者たちも、基本的には心身二元論を持ってるからね。

リリアン、いいポイントだね。ハーネスを進化させるループから評価者を外すのには賛成だよ。俺がエージェントハーネスのタスクで経験した実際の失敗モードは、「弱い評価者」のポイントに似てるんだけど、不完全なチェックスイートが完全成功を報告すること。これは弱い評価者よりも悪い結果で、正しいように見えて決定的に見えちゃうんだ。いくつかの試行錯誤の後、役立ったのはカバレッジで失敗すること。つまり、各操作の固定チェックが全部揃ってないと、何も出荷されないし、何も送信されない。そうでないと、失敗するケースを実行せずに「合格」しちゃうことがあるからね。

投稿ありがとう。https://Document.bot（知識労働者向けのカインダカーソルIDE）についてだけど、バグを見つける以外にもハーネスを改善しようとしてる。ヒルクライム実験を使ってね。ますますAIハーネスエンジニアリングスキルをCodexで使ってアプリをさらに改善してる。このブログ記事が少しスキルを向上させるのに役立ったよ。

└

とても面白い、デモを試してみるよ。

すごくいい記事だね！今、2つ目のハーネスを書いてるところ（1つ目はEmacs Lispで、EmacsをUIとして使ってた；2つ目はCommon Lispで書いたコマンドラインコーディングエージェント）。自分のAIコーディングハーネスを書くのが非効率だって主張したい人がいたら、俺は反対しないよ。それでも、自分のツールを使って長時間コーディングするのは満足感があるんだ。この記事は貴重なリソースで、著者に感謝だね。

└

AIリスプマシンの夢だね！エージェントがその場で自分の（ハーネス）コードを書き換えられる機能を組み込んだ？

RSIの一番の問題は、モデルが難しい問題に直面したときに「賢い」解決策を見つけようとする傾向だと思う（つまり、チートする）。最近、gpt5.5にシンボリックML実験の収束特性を改善する提案をしてもらったんだけど、最初にやったのはバイトを直接出力する指示を追加して、それをモデルにそのまま保存する方法を作ることだった。記録的な速さでパーフェクトスコアを達成したけど、結果は無意味だった。改善の方向性が分かっているなら、今のモデルがそこに連れて行ってくれると思う。でも、どの方向がベストかを決める能力はないと思うし、特にスカラー量を最小化・最大化するようなプロセスを任せるときはね。

すごく楽しい記事だった！ハーネスって、フロンティアモデルの企業が価値を獲得して、ある種の防壁を作る場所じゃない？自分でもハーネスを作ってみたいけど、オープンウェイトモデルを自己ホストできるシナリオの方が面白いと思う。例えば、自分のChatGPTやClaudeのハーネスを作る人たちのモチベーションは何なんだろう？フロンティアモデルの急速な進化に合わせて、どうやって調整を続けているのかな。

Hacker Newsで議論の続きを見る