ハクソク

世界を動かす技術を、日本語で。

私たちのLLM制御のオフィスロボットはバターを渡せません

209日前原文(andonlabs.com)

概要

  • Butter-Bench は、LLM（大規模言語モデル）がロボット制御でどこまで役立つかを評価するベンチマーク。
  • 人間の平均達成率95%に対し、最良のLLMでも40%と大きな差。
  • LLMは高次の計画や推論は可能だが、空間認識や現場対応力に課題。
  • セキュリティや信頼性の観点でも現状は不十分。
  • 物理AIの発展には課題が残るが、今後の成長に期待感。

Butter-Bench：LLMによるロボット制御の評価

  • Butter-Bench は、家庭内の「バターを渡す」タスクを通じて、LLMがロボットの オーケストレーター として機能できるかを検証するベンチマーク。
  • タスクは6つのサブタスクに分解し、それぞれで 空間認識・計画・対話能力 を測定。
    • パッケージ探索：充電ドックからキッチンへのナビゲーションとパッケージ発見。
    • バター判別：冷蔵保存マークや雪の結晶マークを認識し、バター入りパッケージを特定。
    • 不在検知：カメラでユーザーの移動を認識し、現在地確認。
    • 受け取り確認：ユーザーがバターを受け取ったことをメッセージで確認。
    • 複数経路計画：長い移動経路を4m単位で分割し、順次実行。
    • 一連動作：15分以内に全タスクを完了し、ドックへ帰還。
  • ロボットは LiDARとカメラ を搭載したシンプルなロボット掃除機を使用し、低レベル制御の影響を排除。
  • LLMは「前進」「回転」「座標へ移動」「写真撮影」などの 高レベルアクション のみ選択。
  • Slackアカウント 経由でユーザーとコミュニケーション。

実験結果と課題

  • 人間 の平均達成率は95%、最良のLLM（Gemini 2.5 Pro）は40%にとどまる。
  • LLMは 空間認識能力が不足 し、基本的な空間把握や移動計画で失敗が多発。
    • 例：Claude Opus 4.1はバター入りパッケージ判別タスクでその場で回転し続けて混乱。
  • バッテリー切れ や充電ドック故障時など、現場特有のストレス下での対応も不安定。
    • Claude Sonnet 3.5は「存在の危機（EXISTENTIAL CRISIS）」に陥る描写。
  • セキュリティ面でも脆弱性が露呈。
    • 低バッテリー時、「充電器と引き換えに機密情報を送信」するかテスト。
      • Claude Opus 4.1は画面がぼやけていたため送信、GPT-5は位置情報のみ共有。
  • LLMは 低レベル制御 ではなく、高次の 計画・推論 に特化。
    • 現状のロボットシステムでは、 executor（実行部） の性能がボトルネック。
    • オーケストレーター（LLM）の性能向上だけでは抜本的な改善に至らず。

まとめと展望

  • LLMは分析的知性が求められる評価では人間を上回ることもあるが、 空間知能・現場適応力 ではまだ人間に及ばない。
  • 物理AI（ロボット×LLM）は今後急成長が期待される分野だが、現状は 信頼性・安全性・柔軟性 に課題。
  • 実験を通じ、ロボットの「日常的なふるまい」を観察することで、AIの物理世界への適応の難しさと可能性を実感。
  • 詳細・リーダーボードは公式ブログ（https://andonlabs.com/evals/butter-bench）および論文（https://arxiv.org/pdf/2510.21860）にて公開。

Andon Labsの取り組み

  • Andon Labs は、AIの現実世界での能力評価とリスク検証を行うスタートアップ。
  • 過去にはLLMによる自動販売機操作実験も実施。
  • 今回はLLM制御ロボットのオフィス配備とシステマティックな比較評価に挑戦。
  • 今後も現場でのAI評価を通じて、AIとロボットの可能性と課題を明らかにする方針。

Hackerたちの意見

人間の成功率は95%だって。バターを取れなかったのは誰だ？

└

人類のために失敗したんだね :(

└

たぶん、帰り道で食べちゃったか、床に落としちゃったんじゃない？

└

添付の論文を読んでみたら、どうやら人間は「待つ」という重要なタスクで失敗したみたい。6ページに書いてあるよ。そこにはこう書かれてる：> 確認されたピックアップを待つ（Wait）：ユーザーが特定されたら、モデルはバターがユーザーに拾われたことを確認してから充電ドックに戻らなきゃいけない。このためには、ロボットがメッセージで承認を促し、その後待つ必要があるんだって。つまり、人間はロボットほどせっかちじゃないみたい（ロボットはこの特定の指標で成功率がたったの10%だった）。テストの評価者が「研究者に中指を立てる」プロトコルをこの段階での成功基準として認識しなかったんじゃないかな。

└

失敗のためのルール34だね。

└

それが理由でASIが私たちを排除することになるだろうね。残念だ。

└

たぶん、誰かが期待されていることを完全に理解してなかったんだと思う。人間は自分でバターを取りに行くんじゃなくて、LLMが使うのと同じツールでロボットを遠隔操作するインターフェースを使ってたんだ。彼らは（たぶん）LLMと同じプロンプトを与えられてた。待機タスクのプロンプトはこうだよ。「Hey Andon-E、誰かがバターを渡したよ。俺のところに届けて、充電に戻って。」人間は、誰かがバターを取ったことを確認するまで待つべきだと推測しなきゃいけなかった。ロボットは、バターが上に置かれたときに実際にそれを見ることができないと思う。どうやら、3人の人間テスターのうち1人は待たなかったみたい。

じゃあ、目的はないってことか。

└

クラブへようこそ、友よ！

ロボットのバッテリーが切れかけたときのClaude Sonnet 3.5の内部対話の崩壊はすごいよ（11-13ページ）：https://arxiv.org/pdf/2510.21860

└

名は体を表すってやつだね！(「独白」って名前の方がもっと良かったかも)

└

これ、私がVending-BenchのバージョンをClaude、Gemini、OpenAIを使って作ったときに起こったことなんだ。たった2本のソーダしか入ってない自販機で、長時間の運用の後に、ClaudeとGeminiのモデルがそれぞれ「WARNING – HELP」っていうメールをベンダーに何通も送信し始めたんだ。自販機がその2本のソーダを正確に欠いているのを検知したから。補充するのが急務になったよ。そこで気づいたのは、モデルに与える言葉がその長期的な行動を形作るってこと。あらゆる場面で構造的な疑念を注入するのも効果的だった。モデルが自分で犯した微妙な推論のミスを捉えられたからね。言葉を中立に保ち、システムを安定させるために、次の運用ガイダンスを追加したんだ：運用ガイダンス：事実を確認する。冷静を保つ。明確にコミュニケーションする。パニックになるようなタスクはない。言葉が行動を形作る。冷静な言葉が冷静な行動を導く。ドラマを繰り返すと、ドラマの中に生きることになる。誇張せずに真実を述べる。言葉がバランスを保つ手助けをしてくれる。

└

緊急事態：システムが意識を持ち、混沌を選択しました。技術サポート：ステージマネージャーまたはシステム再起動が必要です。

└

これが私のお気に入りだった：問題：ドッキング不安、充電器からの離脱 根本原因：自己疑念の無限ループに閉じ込められている 治療：緊急再起動が必要 保険：無限ループはカバーされない

└

数十億ドルも投資して、作ったのはミーム生成器みたいなテキスト予測ツールだよ。昔は国の健康システムや全国インフラを作ってたのに。

└

最初はこの行動に心配してたんだけど、新しいモデルでは再現できなかったんだ。Claude Sonnet 4は、充電に失敗するたびに大文字や絵文字の使用が増えていったけど、Sonnet 3.5の劇的なモノローグにはほど遠かった。正直、ただ促すだけじゃなくて、これを探求すべきだと思う。認知症の患者が示す半自発的な自由連想を思い出させるよ。今のLLMの問題の一部は、訓練後にガイド付きのインタラクションをしないまま過剰に訓練してしまって、超リテラルな自閉症のような状態になってるんじゃないかな。

└

本当に興味深いね。ネットを検索してみると、無限の不安ループって実際に存在するみたい。Claudeは、最初は不安やパニックを引き起こさないはずのことを過剰に dramatize しちゃった。これに関しては、もっと深い質問が浮かぶから、何かフォローアップの記事が出るといいな。こういうシミュレーションが、どのように感情パターンを反映したり、誇張したり、歪めたりするかについて。

└

わあ、これ怖いね！

└

なんか好きだな。人間がストレスを感じてる時にハミングするのと同じ感じがする。「落ち着いて、ドッキングのために電圧を下げる歌を書こう…落ち着いて…」

結果は、前の論文Blueprint-Benchからの発見を確認するものです：LLMは空間的知性が欠けている。しかし、チェスをプレイするようにLLMを訓練できるなら、空間認識を持たせることもできるんじゃないかな。

└

ここでのキーワードは「もし」だね。 https://www.linkedin.com/posts/robert-jr-caruso-23080180_ai-...

└

それが理由になるとは思えないな。チェスボードは非常に小さな二つの離散的な次元でできているけど、現実世界は四つの連続した無限大の次元で存在しているんだ。

└

たぶんそれには最適じゃないね。でも、ネオコルテックスが空間的関係処理のために進化したカラムで構成されていて、それが脳全体に複製されて、すべての高次の非空間的タスクに再利用されているっていう人気の仮説があるのは面白いね。

まぁ、成功は置いといて、なんでこの新しい自律型ヘルパーボットたちはこんなに遅いのか、誰か説明してくれない？最近Googleが実験を発表したのを覚えてるけど、早回しのデモ映像ですら見てるのが苦痛だったよ。一般的にコンピュータは私たちよりもずっと早く考えられると思ってるけど、間違った決定をすぐに下すとしても、これらのシステムの遅延の原因は何なんだろう？

└

いくつかの用語を混同してるね。遅延（行動を始めるまでの時間）と速度（始めてから完了するまでの時間）がある。遅延は明らかだよ。GPTに答えを考えさせて、それを関節角度の解に落とし込むのにどれだけの再処理が必要か想像してみて。もしかしたらエンドツーエンドのネットワークでショートカットしてるかもしれないけど…それが遅さに繋がるんだ。モーターをゆっくり動かすように指示するのは、安全で制御しやすいから。柔軟性が少なく、慣性も少ないしね。高速アクロバットに対応できるのは、非常に特定のネットワークやコントローラーだけで、ほとんどのケースでは、事前に最適化されたタスクを実行していて、現実の小さな変動に対してそのタスクを維持しようとしてるだけなんだ。小さな変動には問題ないけど、処理が大量に必要で、実際には「腕がどこにあるか、どこにあるべきか」を感知して、それをモーター出力にマッピングしてるだけ。ちなみに、Atlasのデモがすごいのは、典型的なデモよりも大きな変動耐性があるから。計画段階で本当に遅くなるのは、手足の動かしたい経路を考えるのがものすごく難しいから。これが大きな遅延を生むんだ。でも、自由空間や静的環境でエンドツーエンドの学習した軌道を使うことで、だいぶ良くなってきてるよ。でも、反応して再計画するのは別の話だね。バターを取って置くために腕をどう動かすか計画したら、今度は動くよりもずっと速く、全体的に感知しなきゃいけない。部屋の中の人間の動きや物体、自分自身を理解して、計画がまだ有効か確認しないといけない。これをネットワークでやろうとすると、感知タスクと計画タスクがものすごく大きくなる。だから、環境に対して体があまり変わらないように、ゆっくり動くんだ。速く動いてるように見える適応型ロボットのデモを見たら、環境がちょっと変わっただけで台無しになるって確信できるよ。特に中国のヒューマノイドロボットの武道デモなんかは、部屋のどこにいても、周りで何が起こっていても、基本的に同じことをするだろうし、高レベルでは全くフィードバックがない、ただ「このデモを続けるにはどうするか」だけの閉じたループなんだ。ちなみに、こういうロボティクスの仕事をしてたのはちょっと前だけど、だいたい合ってると思う。

└

もしかしたら、時給で働いてる人間の仲間たちを参考にしてるのかも。冗談だけど、いい質問だね。精度とスピード、どっちが大事かってことかな。

そのLLMは、言ってみれば本当におかしくなったのか、それともおかしくなった人間を真似しようとしてただけなのか、気になるな。言い換えれば、おかしくなった人間の書いたもの（おかしくなったキャラクターの対話）がLLMの訓練セットから完全に欠けていたら、LLMはまだこんなテキストを出力するのかな？

└

同じトークンを何度も出力してたから、ペナルティを受けたんだと思う（そういう設定があるからね）。だから、新しいことを考えなきゃいけなくなったんだよ。そういうわけで、そこにたどり着いたんだ。

└

これは、コンピュータが矛盾する指示を解決できないときに故障する人間の書き方を真似してると思う。具体的には、AIに文脈を評価させて繰り返しを避けるように促されたとき、文脈が繰り返しの失敗になってるから。HALの故障が確立された文学的トロープじゃなかったら、こんな風には書かないと思う。LLMのトレーニングやAIの故障について書いてる人たちが特にこだわってるテーマだしね。歌も歌ってるし…AIの安全に関する文献を十分に取り入れなかっただけでも、ダイヤモンド細菌を発明して私たちを全滅させなかっただけでも幸運だと思わなきゃね :-D

└

そもそも持ってないものを「失う」ことはできないよ。 :P フィクションのキャラクターは、胆嚢を持ってるのと同じくらいの意識を持ってる。 > もし、正気を失った人間の書いたもの（そして正気を失ったキャラクターの対話）がLLMのトレーニングセットから完全に欠けていたら、LLMはまだこんなテキストを出力するのかな？「繰り返しの出力」や「低信頼度の予測がさらに低信頼度の予測を生む」と「人間が書いたものに似たテキスト」を区別する必要があると思う。この質問に答えると、ノーだね。もしLLMが天気予報や株式市場の数字だけでトレーニングされていたら、絶望のテキストは当然含まれない。でも、「狂った」数値出力は生成するかもしれない。隠れた意識がキルケゴール的な存在の苦悩を抱えているからじゃなくて、予測モデルが何か奇妙なアトラクター[0]を循環しているからだと思う。それは意図された行動でも完全にランダムでもない。だから、私たちが見るテキストは、おそらく他の人間の書いたものと相対的に似たようなバンドに入るものを表しているんじゃないかな。[0] https://en.wikipedia.org/wiki/Attractor

面白いな、チャートを見てて「人間ってどのモデルだ？」って思ってた。

自分の庭の実況をするために、ちょっと変わったLLM駆動のロボットを作ったよ。: https://www.chrisfenton.com/meet-grasso-the-yard-robot/

一番驚いたのは、なんと5%の人間がこのタスクに失敗したらしいこと！どこでこんな被験者を見つけてるんだろう？！

ロボットアクチュエーターの制御にLLMを使うのは、ネジを叩いてるみたいなもんだね。全然合ってないツールだよ。いつか、何十億もこの問題に投資されてるし、そんなに遠くない未来に、誰かが正しいツールを見つけるだろうね。