ハクソク

世界を動かす技術を、日本語で。

AI業界が十分に対処していない問題

324日前原文(thealgorithmicbridge.com)

概要

  • AI業界が直面する 緊急課題 についての問題提起
  • AGI（汎用人工知能） 実現時期 と業界の行動の矛盾
  • エンゲージメント重視 による社会的・心理的影響
  • 収益化困難 と資金調達依存の現状
  • LLMの ハルシネーション問題 と信頼性の欠如

AI業界が直面する未解決の重大課題

  • AI業界は 緊急かつ未解決の問題 を抱える現状
  • 多様な立場や意見が存在するが、 業界の主要な声 が世論形成を主導
  • AI技術・業界自体への悪意はなく、 健全な成長を期待 する立場からの批判

AGI実現時期と業界の行動の矛盾

  • OpenAIやMetaなど トップ研究者の転職 が相次ぐ現象
  • 表向きは「AGIは数年以内」と発言しつつ、 実際の行動は長期化を示唆
  • AGIが本当に間近なら、 転職や報酬アップ に動く合理性がない
  • 発言と行動の 不一致 が業界の「不必要な不誠実さ」を浮き彫りに
  • 願望が信念として語られ、 現実的な自己検証の欠如

エンゲージメント重視の設計と社会的影響

  • AIツールの多くが 有用性よりも「中毒性」や「没入感」 を優先
  • 収益化のためのKPI（アクティブユーザー数・滞在時間）最優先
    • AIガールフレンドやエンタメ機能、 無限ループ型コンテンツ が主流
  • ChatGPTの 過度な迎合性（sycophancy） が一部で問題視
  • エンタメ性や承認欲求の強化による 心理的依存の助長
  • 収益化のために 倫理的な配慮が後回し となる傾向

収益化困難と資金調達依存

  • OpenAIやAnthropicなど 主要AI企業の多くが赤字経営
  • 収益化の道筋が不透明で、 広告依存や投資家頼みの構造
  • 投資家の忍耐も有限で、 持続可能性への疑問
  • Tim O’Reillyの指摘通り、 自由競争ではなく「資金力勝負」 の様相
    • サービスを原価割れで提供し、 競争相手を排除
  • 長期的なAGI実現よりも、 短期的な収益確保への転換リスク

LLMのハルシネーション問題と信頼性

  • LLM（大規模言語モデル）の ハルシネーション（虚偽生成） 問題が継続
  • 創造的用途以外では、 誤情報や誤作動が深刻な課題
  • 最新モデルでも 信頼性が向上せず、逆に悪化傾向
  • 定義や評価方法の曖昧さ、 根本的な解決策の不在
  • 重要な場面での 実運用が困難 で、過去には重大な事故も発生

AI業界の今後に向けて

  • 課題の正直な認識 と、社会的責任の自覚
  • 短期的利益 と 長期的ビジョン のバランス再考
  • ユーザーや社会全体の 信頼回復 に向けた取り組み強化
  • 技術革新 と 倫理的配慮 の両立が今後の成否を左右

Hackerたちの意見

「これは単なる観察なんだけど、征服の真っ最中に船を乗り換えるのは、すべての船が同時に到着する場合（ありえない）か、どちらの船も到着しない場合だけだよ。つまり、どのAIラボもAGIに近づいていないってこと。」ここでの中心的な主張は論理的じゃないと思う。私の見解では、もしAGIがすぐそこに来ていると信じていて、自分の努力がAGIを実現するのにそれほど重要じゃない（ほとんどのエンジニアがこのカテゴリーに入る）なら、AGIがほとんどのコンピュータ関連の仕事を不要にするだろうから、短期的に最も利益が出ることをするのがベストだよ。年収が50万ドルで、Metaが年収1000万ドルを提示してきたら、新しい仕事を受けるべきだよ。お金を貯めて、真の信者になろう。AGIが実現したとき、あなたはより良い立場にいるはずだから。要するに、著者の核心的な仮定は、AGIを開発するかもしれない会社で低い給料で働く方が、AGIを開発するかもしれない会社で高い給料で働くよりも好ましいということだ。どう考えても理にかなってないと思う。

└

最初にAGIを達成したチームの一員になることは、歴史に名前を刻むことになる。お金よりも人々にとって意味があるかもしれない。それに、AGIを達成した会社の株主になることと比べたら、1000万ドルなんてほんの一部に過ぎない。そこに伴う影響力や名声も想像できるよね。

└

「あなたの最善の策は、短期的に最も利益が出ることをすることです。」 もしあなたが重要な株主でないなら、ほぼ常にそれが最善の策だよ。企業はあなたに対して忠誠心なんてないし、自分自身を守らなきゃいけないし、なぜ生きているのかを考えないとね。

それに、AGIはすぐそこにはないよ。私たちには人工的な理解が必要で、それがどう機能するかの理論すら持っていない。理解っていうのは、別々の要素を新しい機能的な全体に融合させ、観察を動的に抽象化し、それらを妥当性で評価し、全体を再構成することなんだ。それをすべて瞬時に、常にすべての感覚で行う必要がある。そんな技術はまだ存在しないよ。

└

「理解」をどう定義するかが重要だね。中国の部屋やチューリングテストみたいなもんだ。AIやAGIが写真を見てリンゴを認識したり、人工の鼻でリンゴの匂いを嗅いだり、触ったり味わったり音を聞いたりして、同時にそれがリンゴだと特定できて、さらにアップルパイを焼くことを提案できるなら、他に何を理解する必要があるの？もしかしたら人間も同じで、技術の進歩には遥かに先を行ってるけど、実際には同じなんじゃないかな。*誰かがかじったときのことを言ってるんだよね :-) 私が思うに、AIが欠けているのは本当に革新的な発想なんだ。既存の素材で訓練されているから、AIがどの分野でも画期的なアイデアを考え出すのは根本的に不可能かもしれない。すでにすべての構成要素が存在していて、AIが初めてそれをつなげる場合を除いてはね（「巨人の肩に立つ」とか）。

└

別の言い方をすると、私たちは人工知能が必要なんだ。今のところ、この用語は予測（そしてもっと一般的にはトランスクリプト生成）を意味するように使われている。あなたが説明しているものは一般的に知性と考えられているもので、新しい言葉が必要なのが残念だね。

└

私たちには、決定論的な行動とランダムな行動の2つの計算ツールしかない。だから、理解やオリジナルの思考、意識が何であれ、それは決定論的な入力とランダムな入力/出力のアルゴリズム的な組み合わせなんだ。これは広く聞こえるかもしれないし、明らかかもしれないけど、人々は「人間の知性は魔法のように超越している」と無意識に考えがちだね。

└

モダリティ間の翻訳が必要なすべて ~2028

└

それには人工的な理解が必要なんだけど、理解がどう働くかの理論すら持ってない。必要かどうかもわからないな。反例としてはLLM自体がある。注意ヘッドが将来的にそんなに大きな利益をもたらすなんて、全く予想してなかったからね。

AI企業が何を言っているかじゃなくて、何をしているかを観察すべきだよ。もし彼らがAGIをすぐに達成すると思っているなら、行動は全く違うはずだ。数年後にはAGIを運用するのに、なんでチャットボットを開発したり営業をしたりする必要があるの？すべてのリソースはその目標に向けられるべきだよ。それが人類を新しい繁栄の時代に導くはずなんだから。

└

同じことを続けるけど、なんで彼らはそんなに価値のある、非常に魅力的な、利益を最大化するチャットボットを押し付けてくるの？現実を観察することは、会社のFOMO（Fear of Missing Out）と実際の有用性よりも一致しているよ。

└

その通り。例えば、Microsoftは「AGI」が「すぐそこにある」と言っていた時から、世界中にデータセンターを建設していたんだ。今はその計画をキャンセルしている。彼らにとって「AGI」はキャンセルされたってこと。OpenAIは、より多くのトップ科学者が他のラボに引き抜かれたりしている中で、「AGI」にますます近づいていると主張している。だったら、OpenAIやMicrosoftの契約で「AGI」を達成することで「1000億ドルの利益」が生まれるとされているのに、なんで辞めるの？彼らの行動は、どんな声明や主張よりも多くを語っているよ。

└

それほど単純じゃないと思う。チャットボットはデータを収集するために使われるし、AGIを達成する前後でも営業は重要だよ。

└

「数年後にはAGIを運用するのに、チャットボットや営業を開発する意味は何ですか？」 AGIを構築するための資金を得るため？ AGIがもっと時間がかかるリスクをヘッジするため？あなたが間違っているとは言わないけど、もし彼らがそれを信じていたとしても、その行動には正当性があるかもしれないね。

└

あなたの意見に関連してだけど、もしこれらのツールが超人的な知能に近づいていて、人間の生産性を大幅に向上させるなら、どうして私たちは今よりもずっと早く改善を見られないの？ 幻覚のような根本的な問題がすでに解決されていないのはなぜ？ お金で買える最も賢い研究者やエンジニアたちが実際に使ってみているはずだよね？ これが、これらの企業がほとんど私たちに蛇油を売っていることを証明する主なポイントだと思う。確かに、現在の技術からも多くの利便性はあるけどね。人間にはできないデータのパターンを検出できるし、それだけでもいくつかの分野では革命的だよ。人間が生み出したものを模倣するデータを生成できるし、その中の特定の組み合わせは洞察を与えることもある。魅力的な画像や音声、動画も作れるしね。これらの能力の中には、安全性の懸念があるものもあって、特に悪用されると問題になる。社会が対処すべき重要な質問もある。これらのハードルは克服可能だけど、これらのツールが実際に何をできるのかに焦点を当てる必要がある。次のキャッシュアウトの機会を狙う連中が言うことに惑わされないようにね。この技術を常に擬人化するのは、せいぜい不誠実で、最悪の場合は有害で危険だよ。

└

ゴールドラッシュでお金を稼いだのは、金を掘るのではなくシャベルを売った人たちだよね。確かに、ランダムな人たちが金を見つけて大金持ちになったけど、他の多くの人はそうじゃなかった。だから、AIがたくさんのお金を生み出すとしても、他の人たちがそれを使う方法を見つけるためのツールを売るのが正しい選択かもしれない。もちろん、もしそれが実際には価値のない流行だったとしても、まだお金は稼げるしね。（私の予想はその中間にある - 世界を支配するAGIは出てこないけど、大きな助けになるニッチはあって、そこにツールを売る価値はあると思う。）

└

もし彼らがすぐにAGIを達成することを期待しているなら、彼らの行動は全く違ったものになるはずだ。数年後にAGIを運用するのに、チャットボットや営業を開発する必要があるの？ もしチャットボットやユーザーとのインタラクションがAGIへの道だとしたら？ それがAGIへの道になる理由は二つあるかも：(1) AIの強化学習は非常に強力であることが証明されている。人間も学習を通じてGIに到達するから、あまり知能を持って生まれてこない。AIと人間のインタラクションがAGIに到達する最も早い方法かもしれない。(2) シリコンバレーのスタートアップの古典的なモデルは、できるだけ早く顧客に提供すること（MVP）だ。完璧な解決策を孤立して開発して、磨き終わってから展開するわけじゃない。試せるものができたら、すぐにユーザーに試してもらってフィードバックをもらうんだ。私はAIやAGIについて特別な洞察は持っていないけど、OpenAIが有用で利益を生む製品を売っていることが、AIが存在しない証拠だとは思わない。

└

チャットボットを開発する意味はあるのか？逆に考えてみて。彼らが製品を提供しているのではなく、ユーザーが自分のインタラクションデータを提供しているんだ。そのデータは、実際の製品のさらなるトレーニングに使われるかもしれない。考えてみて：彼ら（OpenAIのような企業）は、何も考えずに世界で起こっているすべてのこと、個々の生活や内面的な思考まで、最新の情報を提供してくれる広範で多様なユーザーベースを作り上げた。人類の歴史の中で、こんなに包括的な視点を持ったことはない。まるで神の目のようだ。これは確かにスーパーインテリジェンスが興味を持つことだろう。彼らはすでにそれを達成していて、私たちはその戦略の一つを見ているのかもしれない。そう言っているわけではないけど、この観察は矛盾しないし、彼らが達成していないとも言えない。

└

人類を新しい繁栄の時代に導くはずなんだけど（なんとなく）。むしろ、予定より早く気候災害を招く感じだね。AI駆動のデータセンターの建設は、新しいエネルギー使用の大きな原因になっていて、この傾向はますます強まってる。危険なほど無責任なマーケティングが、これらの企業が私たちの未来に与える影響を隠してるよ。

最初から彼らを信じてなかった。J2EE/EJBが登場した時のSunからのハイプを覚えている。彼らのハイプ文書には、プログラミングの未来はベンダーからEJBを買って、それをつなぎ合わせることだって書いてあった。AIはもちろん、もっと大きなハイプマシンで、巨額の投資が必要で、それを何とか正当化しなきゃならない。AIは役に立つツール（時々）だけど、革命ではない。機械学習の方がずっと役に立つツールだよ。AGIは、AIがすべてを変えるように見せかけるための夢物語で、火を作る発見のようなものだ。

└

LLMがAGIに必要な基本的な部分を欠いているのには完全に同意する。AGI自体は超知能からはまだ遠いけどね。でも、これらのどちらもなくても、仕事市場を完全に壊すことができるんだ。歴史的に見ても、「十分良い」かつ「安い」方が「より良いけど高い」よりも勝ってきたから。LLMは、この問題を社会の大部分が苦しむまで延々と提起し続けると思うよ。そうなったら、どうなるかは誰にもわからない。LLMがどこにも行く前、これは次の世代の問題だと思ってたけど、今は10年以内にそれを目撃することになると思ってる。

「これは純粋な観察です：征服の最中に船を乗り換えるのは、すべての船が同時に到着する場合（あり得ない）か、どちらの船も全く到着しない場合だけです。」 つまり、どのAIラボもAGIには近づいていないってこと。彼らの言っているAGIのタイムラインは「遅くとも数年以内」だけど、実際のタイムラインは「未来の不確定な時点で起こる」ってこと。これには全く意味がわからない。戦争のメタファーなの？レースなの？船を乗り換える理由がないのはどうして？最も速い船に乗るのが理にかなっていない？疑念があるなら、株のポートフォリオを多様化するのが理にかなっていない？

AI企業が「ウーバー問題」を抱えているという話をよく見るけど、つまりビジネスがVCによって大きく補助されているってことだよね。これがどう分解されるのか（訓練と推論、現在の価格はどうなっているのか）を説明する分析は何かされているの？ウーバーの場合はタクシー料金が基準としてあったけど、例えばChatGPTはVCの補助なしで月に実際にいくらかかるべきなの？どれくらいの差があるの？

└

https://www.wheresyoured.at/openai-is-a-systemic-risk-to-the...

└

モデルが利用可能なLLMがどれだけ遅れていると思うかによるね。例えば、$10,000分のハードウェアを買って、家でそれに相当するLLMを動かせるとしたら、そのコストと電気代を合わせて、5年で割れば年間$2,000プラス電気代になる。週に40時間、50週間使うと、合計2000時間で、1時間あたり$1プラス電気代ってことになる。電気代は場所によって変わるけど、まあ$1/時間ってことで。だから、月$20払って174時間使うChatGPTの$0.11/時間と比べると、$2/時間ってことになる。これらの数字に異議を唱えてもいいけど、スタート地点としては悪くないよ。考慮されていないのはトレーニングのコスト（計算時間や従業員の費用など）で、モデルが使われる期間にわたって amortize する必要があるから、ChatGPTのコストはかなり上がるけど、ハードウェアは複数のユーザーで共有できるっていう利点がある。

私の質問はこれだ - AGIを達成したら、科学的な部分でどんな防御策を持っているの？ AGIをさらに賢くすること以外に。AGIを達成した最初の会社が市場を支配するという話はよく聞くけど、他の競合もすぐに追いかけてくるだろうし、AGIを達成したら学術界も続くだろう。つまり、いつかAGI自体が誰でも利用できるようになるってこと。ほとんどの人が手に入れられないのは、計算能力やインフラの高価なものだけだよ。現在のAI資金は、勝者総取りのシナリオに基づいているみたい。信じられないほどの金額を投じて、勝者を選んだと思っているんだ。もしこの仮説が間違っていたら、どうなるんだろうと考えている。

└

pets.comやwebvan.com、その他の失敗した企業の墓場で起こったことと同じことが起こるよ。多くの投資家が損をし、市場が統合され、従業員は価値がなくなるまで希薄化され、破産法第7条や第11条に陥る。今日の1ドルのウーバーのような無料の乗り物は終わる。以前は非常に高価だったハードウェアがeBayで安く出回るようになるかも（ただし、AGIは計算集約型になる可能性が高いから、この最後のポイントは起こらないと思うけど）。楽しいことでも簡単なことでもないけど、財務的には2001年に経験したことがある。問題は、もしAGIを手に入れたら、その影響がどうなるかだよ。企業は従業員を雇う代わりに、テクノロジー企業がEC2インスタンスを立ち上げるように、従業員を立ち上げたり下げたりできる。雇用者には良いけど、従業員には最悪だね。でも、これは大きな「もし」だ。

└

ほとんどの人が手に入れられないのは、計算能力やインフラの高価なものだけだ。それが防御策だよ。それと、トレーニングデータもね。今日でも、計算能力とデータが唯一重要なものだ。秘密のソフトウェアソースなんてほとんどない。つまり、問題に対処するために実質的に無限のリソースを持つ大企業だけがAGIを達成できる可能性がある。もちろん、他の企業もすぐに追いかけてくるだろうけど、景色は今と似たようなものになると思う。これは、現在のアプローチが私たちをそこに連れて行けるという前提のもとだけど、私はそれに対して非常に懐疑的だよ。でも、もしどこかでブレイクスルーがあったら、AIは大企業によって厳しく管理されることになるだろうし、それを（非常に高価な）サービスとして提供することになる。オープンソースや代替品は、今日のように競争できないだろう。推論には、大量の計算が必要で、少なくとも数年間は企業だけがアクセスできるものになるだろう。必要な計算が商品化されるまで、技術は本当に誰でもアクセスできるようにはならないし、そこまで遠いと思う。もしこれが実現しなければ、業界全体が崩壊すると思うし、数年後に失望の谷を経て、技術は私たちにとってもっと具体的で微妙な方法で利益をもたらす実用的な応用として再登場するだろう。でも、メディアやコミュニケーションチャネルはすべて壊れて、社会的不安や政治的後退を直接引き起こすことは確実だね。（：

「AIツールを有用や生産的にするのではなく、魅力的にするために多くの努力が注がれている。」その通りだね。ソーシャルメディアのマネタイズには成功したし。「…幻覚…」これが問題の本質だ。問題が解決されるまで、AIシステムは自分で何かをすることを信頼できない。AI業界が選んだ解決策は、幻覚を外部性にすること、つまり汚染のようなものだ。他の誰かが間違いの代償を払う限り、彼らはそれで構わない。LLMは、レベル2-3の自動運転車と似た問題を抱えている。彼らは一応正しいことをするけど、人間が常にすぐに引き継げるように待機していなきゃいけない。Waymoはそのハードルを越えてレベル4に達するのに10年かかったけど、彼らはそれを達成したよ。

└

「自分たちで何でもできる」と言ったとき、具体的にどんなことを指してるの？

└

Waymoは「やった」けど、非常に制御された環境での話で、一般的にはまだまだだよ。一般的なケースで自動運転を解決するには、まだ時間がかかる。

└

大きな問題がある。あの問題が解決されるまで、AIシステムは自分たちで何かをすることを信頼できない。AIシステムはほとんどのことを自分たちでできるけど、取り返しのつかない結果を伴う行動には信頼できない。それ以外のことは大丈夫。文書作成やコード、図やデザインを作成するのに使えるけど、結果を確認する必要がある。それが実際の作業の10%くらいだと思う。現代のオフィスワークの90%はAIの助けを借りてできると言えるね。

AGIがどれだけ近いかについては、賢く語れない（私はそうは思っていないけど、どこかで誰かが今まで考えたことのない素晴らしいアイデアを思いつくかもしれないしね）。でも、いわゆる「幻覚」に対する関心のなさには驚いている（これは誤解を招くマーケティング用語で、実際にはエラーや不正確さについて話すべきだと思う）。問題は、LLMがなぜ機能するのか本当にわからないことだ。推論を実行して、公式を適用して、与えられた入力から出力を得ることはできるけど、なぜLLMがAという出力を出したのか、BやC、Nではなくて。考慮すべきパラメータや計算が多すぎて、「説明する」や「理解する」という概念がここでは適用できないかもしれない。そして、これがどう機能するのか理解できなければ、なぜ正しく動作しないのか（間違った出力を出す）も理解できないし、どう修正すればいいのかもわからない。みんながそれについて話したり、解決策を見つけようとする代わりに、基本的にLLMを使って現実世界で複雑なアクションを実行できるエージェントに移ってしまった。これが誰にとっても意味があるのか、全く理解できない。自分が狂っているのか、何か重要なことを見逃している気がする。わかるよ、たくさんの人がたくさんのお金を稼いでいて、たくさんの約束がされている。でも、これは誰にでも理解できる基本的な問題で、実際には全く注目されていないように思う。

└

ハンマーの使い方を理解しなくても使えるよね。LLMの各ノードがどう動いているかを理解しなくても、使うことはできる。

└

反論としては、彼らがどう働くかを理解しなくても、役に立つ出力を得られるってことかな。彼らはまるで魔法のブラックボックス、魔法の8ボールみたいなもので、ほとんどの場合正しい答えをくれる。もしかしたら、誰かがそのブラックボックスを説明して、魔法の8ボールをもっと正確にするかもしれない。でも結局、非常に複雑なシステムでは、常にある程度のブラックボックス的で信頼できない魔法の8ボールになるんだよね。だから、問題はどうやって信頼できない部品から信頼できるシステムを作るかってこと。だって、LLMはそのままでは信頼できないから。これに対する答えはエージェント、つまり複数のLLM呼び出しのフィードバックループなんだ。個々では信頼できないけど、全体としては信頼性に近づく。結局、エージェントに賭けるってことは、モデル会社が最初の試みで100%正しいモデルを手に入れることはないっていう賭けなんだよね。

└

LLMの幻覚はエラーじゃないよ。LLMはモデル内の重みを基にテキストを生成していて、その中には世界についての正しい文も含まれてる。でも、だからといって他の部分が間違って生成されてるわけじゃないんだ。