あなたが考えてるのは、一度に全体を見渡せる物体のことだね。もし、全体が見えないくらい大きな物体を扱ってたら、どうやって探るか決めなきゃいけないよ。

2次元の表面を見ると、その表面上のすべての値を直接観察できるよね。損失関数の場合、各点での値を計算しなきゃいけない。全部計算して「表面を見る」ことができるし、直接一番低い値を選ぶこともできる。それがグリッドサーチって呼ばれるもの。高次元になると、計算する「点」が多すぎて大変なんだよね。

答えを調べずに（誰かがもう計算してくれてるから）、自分の国で一番高い地理的なポイント（標高の高いところ）をどうやって見つける？

密に配置されたグリッドを使って関数を評価してプロットするのは確かに効果的だよ。これは brute-force サーチだね。グリッドが十分に密であれば、あなたが説明した方法でグローバルミニマをすぐに見つけられるよ。ただ、コンピュータで関数を実装するときは、そんなに多くの点を評価するのに時間がかかるから、勾配のような情報を活用するもっと洗練された最適化アルゴリズムを使った方がほぼいつも速いんだ。物理的な現実では、すべての点がすでに存在してるから、安く観察できるなら brute force アプローチはうまくいくよ。編集：あなたの質問は良かったね。そんな表面的にナイーブな質問をすることは、解決が難しそうな問題に対する新しいトリックを考えるための有益な出発点になることが多いんだ。

見えないものの最小値を探しているとしたら、どうなるんだろう？それとも、目で見ても感じられないほど小さな違いがある場合は？

あなたの目は、局所的および全体的な最小値がどこにあるかを見積もるために、脳が行う大量の視覚処理の一部として勾配を計算してるんだ。でも完璧じゃないから、たくさんの錯覚があるよね。意識的であれ無意識的であれ、私たちは常に勾配を追ってる。例えば、すべての道が上に向かっているとき、あなたが穴の底にいることがわかるよね。

例えば、ボウルや卵のカートンマットレスみたいなものを見て、全体の最小値を探しているとき、あなたは2次元の表面を見ていて、1次元の外に出ているんだ。脳は数千のポイントを処理して「ボウルの底はここだ」と言うのは簡単だよね。コンピュータも同じことができる。x/y方向で100の値をチェックすれば、合計で10000の値を確認するだけで済む。コンピュータはそれを簡単にできる。だけど、深層ニューラルネットワークを使った機械学習では、2次元の入力と1次元の出力なんてない。何千から何百万の次元が入力されて、何千から何百万の次元が出力されるんだ。もし100000の入力があって、各入力に対して1000の値をチェックしたら、組み合わせの総数は1000^100000になる。さらに、100000の出力もあることを忘れないで。そんな計算はできないよ。だから、ヤコビ行列やバックトラッキングみたいな高度なものが必要なんだ。

ここにいる人たちは、あなたが求めている数学的な答えを出しているけど、あなたの直感に挑戦したいな。建設では、建物のためにサイトを整地するのは、測量を含む一連のプロセスなんだ。もし、整地されていないランダムな土地に人を落としたら、その人が道具なしで正しく地面を平らにするのはかなりの挑戦になるよ。つまり、「周りを見て何でも最小値を見つけられる」っていうあなたの直感は、他の誰も持っていない超能力がない限り、ほぼ確実に間違ってるってこと。

まず最初に...無理だよ。明らかに理由があるケースを挙げるのは簡単だし、特別なことでもない。君が想像してるのは、立体的なレイトレーシングみたいなもので、それは微分を計算するよりもずっと計算負荷が高いんだ。

多くの実用的な最適化問題は、「目の前に見える丘を登る」みたいなものじゃなくて、「可能なデザインの中で、ある目的を最大化する最適なデザインを見つける」って感じだよ。ここにもっと高次元で、空間的な次元じゃない例題がいくつかある。例えば、(a) あなたの目的は、キッチンの食材を使って、最大限に美味しい料理のレシピを見つけること。レシピ空間の1点をサンプリングするには、(1) レシピを考案し、(2) レシピに従って候補の料理を準備・調理し、(3) その料理を友達や家族に振る舞って評価する必要がある。これで1つのサンプルポイントが得られるかも。もしかしたら、作れる「レシピ」は1兆通りあるかもしれない。全てを試して料理して評価して、最高に美味しい料理を見つけるつもり？それとも、もっと効率的な方法があるの？(b) あなたの目的は、必要な荷重とストレスを支えつつ、建設コストを最小化する橋の最も効率的なデザインを見つけること。