世界を動かす技術を、日本語で。

AIは個人コンピューティングにおいて私たちが失敗したからこそ印象的である

概要

  • 現代のLLMベースAIは、インターネットの混沌から答えを導き出す能力
  • 構造化された情報管理の失敗がAIの台頭を後押し
  • 検索頼みの情報整理手法が主流化
  • セマンティックウェブや個人知識ベースの未実現
  • AIは優雅な設計ではなく、力技による回避策

LLMがもたらす「検索」時代の知識体系

  • ChatGPT のような最新のLLMは、従来の 全文検索エンジン では対応できない複雑な質問にも瞬時に回答
  • 例:「1805年にイギリスが初めて小さな植民地を設立し、同年にスウェーデン王Gustav IV Adolfがフランスに宣戦布告した国の国旗に描かれている動物は?」→ Dominica の国旗に描かれた Sisserou parrot
  • GoogleのAIウィジェット はこの問いに失敗、LLMの圧倒的な強みが浮き彫り
  • LLMは大量の未整理情報から意味的関連を推定し、 混沌から構造を抽出 する能力
  • これは、人類が情報をうまく構造化できなかったことの「副産物」

構造化の放棄と「検索」依存の時代

  • 多くの現代サービスは、情報の 構造化を諦め、検索に依存 する設計パターン
  • 例:Google Driveはクラウド上の「ファイルシステム」だが、整理が難しく デスクトップのファイル管理以下の体験
  • 解決策は「 全文検索」の導入:「全部放り込んで、あとで検索して探す」スタイルへ
  • この「構造を諦めて検索に頼る」パターンが静かに 主流 となった
  • 「検索」は単なるテキストマッチングから、 多次元トークンマッチング まで多様化

セマンティックウェブと個人知識ベースの未達

  • Semantic Web 構想では、ウェブ全体を 構造化された意味的リンク で繋ぐ理想追求
  • 現実は未構造化・メタデータ不足、さらに JS駆動の動的HTML で機械可読性も悪化
  • 本来、PCは 個人の知識ベース として、HyperCardのような 意味的接続 を活用する可能性
  • しかし、その実現は未だ遠く、 オープンスタンダード やセマンティックリンクも普及せず

LLMの本質:力技による知識抽出

  • もし全知識が リッチなセマンティックリンク で構造化されていれば、 単純な自然言語処理 でも複雑な質問に対応可能
  • その場合、 圧倒的に少ない計算資源 で答えを導出できる
  • 何より、知識とその接続性が AIモデル内部に隠蔽されず、人間にも理解可能
  • 現状のAIは「 優雅な設計」ではなく、 力技によるワークアラウンド
  • LLMは未整理情報から 仮想的な意味マップ を生成し、一時的な「知識体系」を構築
  • これは「古典的な知識」とは異なるが、 もしかすると本質的には「知識」そのものかもしれない

Hackerたちの意見

かなり単純化した意見だね。「巨人の肩に立っているからこそ、巨人たちが私たちが達成した高みには届かなかったことが明らかだ。」

コンピュータが2000年代初頭に比べてかなり速くなったのに、使いにくくなっていることをよく考える。大学で初めてLinuxを使ったときは衝撃だった。だって、コンピュータに「このディレクトリ内のファイル名を重要な部分だけ残してリネームして」って指示できるツールを手に入れたから。でも、コンピュータが毎秒何千もの操作をこなせるのに、その能力を活かすためのインターフェースを改良する代わりに、業界の権力者たちは数十億ドルをGPUに投資して、言語を理解しているように見えるプログラムを作ることに決めた。でも、そのプログラムは「blueberry」の中のBの数を数えることすらできないんだよね。

わかんないけど、何兆回も同じ操作をして同じ結果を出すシステムって、宇宙中どこにもない信頼性を持ってるのに、それを「どうしてそう答えたのかはわからないけど、正しいかもしれない!」って感じにするのが可愛いと思う。

Bの数を数えることって重要なの?それに、LLMにテキストを自分が望むように解析させることができると思うよ。ただ、LLMは君のテキストを君が見るようには見てないから、その単純な操作は簡単じゃないんだ。同じように、「ブルーベリー」のオクテット数を数えることができないからって、君が無価値だってわけじゃないよね?

プロンプト: 「ブルーベリーを綴って、bの数を数えて」。彼らはまだAGIを主張してないから、最適にLLMを操作するには人間の知能が必要なんだ。LLMは文字ではなくトークンを処理することが知られているから、「推論」のスペースがないと、プロンプト内にbの表現はない。綴るように指示したり考えさせたりすると、綴る余地ができて、そこから文字を「見る」ことができるから、数えるのは簡単だよ。

セマンティックウェブへの憧れを表現しているね。 > セマンティックウェブを覚えてる?ウェブは意味的に構造化された、リンクされた機械可読データに進化するはずだったのに、それは実現しなかった。学ぶべき教訓は「なぜセマンティックウェブは実現しなかったのか?」という質問に答えることだと思う。

「なぜセマンティックウェブは実現しなかったのか?」それは、ウェブコンテンツがエンジニアではなく人間によって生成されているからだ。

「なぜセマンティックウェブは実現しなかったのか?」広告のせいだよ。

「セマンティックウェブはどうして実現しなかったの?」私はウェブが始まった頃からずっとウェブ開発をやってるけど、私が関わった会社は、自分たちの貴重な情報を簡単にスクレイピングされる形式でオンラインに出すことに対してオープンに敵対的なんだ。情報は自由になりたがってるんじゃなくて、金を払ってもらいたがってる。サイトに訪問者を引き寄せるような情報じゃない限り、公開する必要はないよね。

商人では作れないからだよ。これは僧侶の仕事だ。

セマンティックウェブなんて存在しなかった。Googleがあって、Googleには検索結果にパンくずリストを表示するためのAPIがあった。それを人々は「セマンティックウェブ」と呼んでいた。数年後、彼らは諦めて、結局すべてをパンくずリストのように見せることにした。それがセマンティックウェブの全体的な体験を要約してるよ。

セマンティックウェブは言語よりも限界があったからね。

Hacker Newsで議論の続きを見る