ML研究者で物理学の学位を持ってるけど、これらのモデルについて「理解する」や「描写する」って言葉を使うのにはすごくためらいがある。言葉が役に立たないと思うし、正直言ってほとんどが嫌悪感を抱く。物理学で数学を使う理由はその特異性にある。コーディングが難しいのも同じ理由だよね。人々は自分たちがどれだけ理解しているかを過小評価してると思う。重要なのはニュアンスなんだ。細かいところがたくさんあって、私たちにとっては普通のことだから、その重要性を忘れがちなんだよね。歩いている地面を忘れるようなもんだ。みんなが読むべきだと思うのはアシモフの「間違いの相対性」だよ。これが、私たちがこれらのシステムに求めるものなんだ。推論や帰納を見たい。概念やアイデアを洗練できるように。彼らが取り込んだものの組み合わせ以上のことを発見できるように。ここで本当に難しいのは、私たちが人間の知識全体でこれらをトレーニングしていて、その知識をただ繰り返すだけでは知性を示さないことなんだ。彼らがその知識を損失なく圧縮することはまずないだろうし、そのデータを深く調査しないと、何を知っていて何を記憶しているのかを理解するのは難しい。実際、これは知性を作ろうとするには非常に貧弱な方法だし、少なくとも知性を作ってそれが知性だとわかることにはならない。物事を本当に「理解する」ためには、反実仮想を提案できる必要がある。物理学の命題はすべて反実仮想の命題なんだ。F=maを簡単な例に取ろう。質量や加速度を自由に変更しても、力を決定できる。特定の質量が特定の加速度で動いているのを観察して、「もしそれが2倍の重さだったら？」って反実仮想を考えることができる。それに答えられるんだ！ 実際、あなたの世界のメンタルモデルもこれをやってる！数学で説明してるわけじゃないかもしれないけど、反実仮想を提案できてるし、かなりうまくやってることが多い。常に正しい必要はないけどね。私たちの頭の働き方はこういうシステムを通じてなんだ。これを夢見たり、遊びながら想像したり、色々なことをしてる。これに関しては、現代のML（AI）システムがやってるとは言えない。== 編集 == 理解が欠けている良い例は、OPが使ってる画像だね。右側は指の本数が間違ってるだけじゃなくて、キーボードの鍵も見てみて。繰り返しのキーがあるのはおかしいって認識するのに、そんなに理解は必要ないよね…構成もおかしいし、すぐに夢だとわかるような夢の一つみたい。キーの数がマーカーの数と合ってないし、サイズも明らかにおかしい。見るほどにどんどん悪くなっていくし、これらのシステムにはよくあることだね。ぱっと見はいいけど、じっくり見ると不気味の谷に深く入っていく。