確か、マジック：ザ・ギャザリング：アリーナのルールシステムは、ルールを与えられたコンパイラみたいなので生成されてるんだよね。現代のコーディングアシスタントがなくても、完璧なDSLで合理的なものを構築できるかもしれないし、その後に人間（またはファインチューニングしたLLM）がルールブックをDSLに変換するっていうのもあり得るよ。

これがチェスエンジンの動き方だよ。 すべての強力なチェスエンジンは、ポジションを評価するために少なくとも1つのニューラルネットワークを持ってるし、これが探索ウィンドウに影響を与える。 >良いターン制ゲームのAIの動き方だ。 それはあまり正しくないよ、囲碁を考えてみて。

これ知ってるかもしれないけど、解決しようとしているボードゲームの種類によって大きく変わるよ。例えば、囲碁では50手先を見越すのはあまり役に立たない。複雑さが高すぎて実現不可能だし、誰が優位かを判断するのも簡単じゃない。こういう状況では、現代のAI（強化学習や深層ニューラルネットワーク）がものすごく役立つんだ。あと、AIを使うのが簡単だなんて誰も言ってないからね。

LLMの開発と心理学・精神性の間に興味深い類似点があるね。真の思考を持つためには、思考や信念に挑戦する内部の敵が必要なんだ。50手先を見越すためには、敵の動きをシミュレートする必要がある…二重性。

そうなんだよね、簡単な状態を保つことすらできない。迷路を走らせようとしたんだけど、最初から迷路全体を見せるんじゃなくて、一歩ずつ動かして、そのマスからどの方向が開いているか教えて、次の動きを聞くって感じでやってみた。でも数手動かすと、もう完全に迷っちゃって、ただ行ったり来たりするだけになっちゃう。各ステップの後に迷路の状態をシリアライズするように明示的に促しても、古い状態表現に引っかからないように古いコンテキストを削除しても、結局混乱しちゃって状態を壊したり、物事を見失ったりするんだよね。彼らはその概念は理解してるみたいで、挑戦を説明して、そういう迷路をステップバイステップで解くプログラムを書いてって頼むと、初回で成功するんだけどね！でも内部でそれを維持するのはまだ難しそう。

考慮すべきことは、あなたのゲームに対してAlphaZeroのような decent NNベースのアルゴリズムを実装するのが本当に難しい一方で、モデルチェックポイントのおかげでトレーニング中に対戦するスキルレベルの幅が得られるってこと。伝統的な木探索にハンデを与えると、本当にひどい結果になると思う。弱いチェスエンジンが弱いのは、馬鹿げた理由（駒を放置したり、ランダムで不自然な動きをしたり、明らかな脅威を見逃したり）であることが多い。弱いLeelaチェスのバージョンでプレイすると、対照的に「悪い」人間の対戦相手のように感じる。もしかしたら、労力に見合うだけの価値はないかもね。正しくやるのは確かに大変な作業だ。

この経験はターン制じゃないゲームにどう活かされるんだろう？Alphastarは、全ての可能な手を探す以外のことをしてるはずだよね。じゃあ、何がターン制に当てはまらないのかな？

最近のモデルにゲーム状態データを大量に投げてみたけど、使えなかった。めっちゃバカな手を打つんだよね。実際、大きな問題の一つは、無効な手を提案することが多いことで、これを避けるにはボードゲームのロジックを完全に実装して検証するのが一番だよ。RLが必要みたいだね。評価者を使って報酬関数を設定してみるのもいいかも。君のアーキテクチャが何かはわからないけど、試してみる価値はあると思う。

「象はチェスをしない」;) あなたは小さくて、完全に知られた、決定論的なルールに基づく「世界」を持っている。そこからの「推論」は簡単だよ。でも、もっと「曖昧」で、未完成で、定義があいまいな環境、例えば自然言語生成に対してそのアプローチを試してみて、どうなるか見てみて。問題によって解決策は異なるからね。今の最前線のLLMは、浅い言語的推論で驚くべき結果を出しているけど、深い抽象的論理推論にはまだまだ遠い。対照的に、最先端の定理証明器はその点で優れているけど、まともな文を作るのに苦労することもある。特定のタスクには、「推論」できる抽象が必要だということには、みんな同意していると思う。人々は、この能力が「作り出される」べきか、それとも観察や相互作用から暗黙的に、より堅牢に生まれる可能性があるかについて意見が分かれている。

参考までに、何も「ゲームロジックを完全に実装して（大量の作業）、いくつかのヒューリスティックで50手先を見越す」には勝てない。これがチェスエンジンの動き方で、すべての良いターン制ゲームAIがこうやって動くんだ。ボードゲームに関してはほとんどこれが当てはまる。でも、一般的なターン制ゲームには当てはまらない。すべての良いターン制ゲームAIがこうやって動くとは言えないよ。ターンごとに複数の「手」が許可されるターン制ゲームでは、非常に短い数のターン以上を見越すのはすぐに枝分かれが多すぎて難しくなる。ボードゲームでは、WarhammerやBlood Bowlのように、ターン内の行動や行動の順序が重要な場合もある。コンピュータゲームでは、Screeps [2]やLuxのマルチエージェントAIコンペティション [3]のように、プレイヤーごとに複数の「ユニット」があって、それぞれのユニットが複数の行動を持つこともある。未来の世界の状態をモデル化しようとすると、組み合わせ爆発が起きて、純粋なヒューリスティックに頼らざるを得なくなることがある。

思考トークンを見るのもすごく興味深いね！

コーディファイすることが多すぎて、トークンに基づくシステムは本質的に制限がある。組み込みで働く完全なアマチュアとして想像するに、線形で順序付けられた入力ストリームに制限されるのも根本的に制限があると思う、アテンションレイヤーを使ってもね。

LoRAや回路トレースに近い何かが、真実を追跡するのに役立つと思う。

APIでこのサポートがあるのはいいけど、文法制約のあるデコーディングは結構前からあったよね、現代のLLM時代の前から（例えば、[1]は精神的に似てる）。ただ、ローカルとグローバルなプランニングはここで大きな問題なんだ。デコーディング中にローカル制約を強制すると、LLMが最適でないトークンの決定をしなきゃいけなくなるかもしれない。これが「グローバル」（つまり、全トークン）ミスにつながることがあって、制約のある出力の確率が最適な応答の確率よりもずっと低くなることがある（それも文法に従うかもしれない）。ビームサーチのようなアルゴリズムがこれを緩和できるけど、やっぱり難しいんだ。これがXMLタグがJSON出力よりもよく機能する理由の一つだね。「変な」トークンに対する制約が少ないから。[1] https://aclanthology.org/P17-2012/

おお、OpenAIがついに追加したの？構造化生成は、llama.cppやInstructorみたいなものでしばらく前から利用可能だったから、追加するのかなって思ってたんだ。見た例では、全体の世界モデルを定義するのは無理だけど、即時のアクションスペースを制約してモデルがまともなことをするようにはできるよ。

それに、Ha & Schmidhuberの有名な論文についても触れてないね（https://arxiv.org/abs/1803.10122）。最悪なのは、HintonやBengio、LeCunのような、関連性の薄い、あるいは完全に詐欺的な「AI専門家」を名前を挙げているところ。

あと、数十年にわたってニューラルシンボリックAIを広めてきたGary Marcusもね。

何かの参考になるかは分からないけど、チェスの名人は瞬時にそれがランダム/無効なボード配置、つまり無効な世界状態だと認識できると思う。あなたが言及している実験では、両グループにボードを見るための時間が非常に限られていたんじゃないかな。十分な時間があれば、両グループともボード上の64個の駒を確実に記憶できるはず。

この文脈で「一貫した計算表現」が意味するのは、オセロやチェスなどのルールをボードの現在の状態に確実に適用できることだよ。どんな有能なアマチュアでも、何千ものボード配置を勉強しなくてもこれができる。実際、ゲームを見たことがなくても、書かれたルールからこれを行うことができるんだ。彼らはルールの因果的で非ヒューリスティックな理解を持っている。LLMはもっと苦労する：彼らはナイトの動きを学ぶのではなく、d5の位置にいるときの白いナイトの動き、次にg4の位置にいるときの動きなどを学ぶ、「ヒューリスティックの袋」だ。特にMuZeroでも同じことが言えるけど、そのスケールではヒューリスティックが「密」になって、見かけ上の因果的理解が現れるように見える。でも、それはかなり脆い。私のお気に入りの例は、アーケードゲームのBreakoutで、MuZeroはレベル1で超人的なパフォーマンスを発揮できるけど、レベル2にはできないことだ。健康な子供たちはこんな風にはならない - 彼らはレベル1で「トリック」を見つけて、すぐに一般化するから。

RDFで使われる「オープンワールド仮定」みたいだね、OWLによって一貫性が保たれてる感じ。（まあ、少なくとも提案のヒントにはなってるけど。）