業界によると思うな。前の業界では25%くらいだったけど、今の業界では80%に近い感じ。

SAPの導入失敗率が80-90%だって聞いた。ERPの「失敗」は、予算オーバーや時間オーバーで定義されることが多いけど、最終的に完了して望ましい機能を提供した場合もある。キャンセルされたり、実際に稼働したけどビジネスのニーズに合わなかったプロジェクトは、実際にはもっと少ない割合だよ。

それは全然違うよ、正直に言って。もしそうだったら、会社はとっくに失敗してた。

あなたはいい方向に進んでると思う。ほとんどのテクノロジーパイロットは失敗するからね。リスクや投資が適切に管理されていれば、これは健全だと思う。これはサージョンの法則に従ってるみたいだね…「すべてのものの90%はクソだ」[0]。

いや、95%の成功率でも飛行機には不十分だと思った。

笑 俺も同じこと思ったし、「でもみんな自動操縦使ってるし、何が問題なの？」とも思った。

なんでダメなの？今の自動操縦は、ただ飛行機をコースや速度、高度に保とうとしてるだけだし。自動着陸まで進んでるものもあるけど、極限の緊急時だけ。航空会社は、燃料を節約するためにAIに少しの高度や速度、コースの変更を試させることを考えるかもしれないね。

そうだね、「パイロットプログラム」って書いてあればよかったのに。

確かに、二度見しちゃったよ。

LLMを使って開発したシステムで不正確さが問題になったことってありますか？あなたの不満はよく聞くけど、私の経験とは合わないな。確かに、エソテリックな問題を扱うチャットボットを一発で作ると、誤りが出る可能性があるよね。でも、LLMにPDFや他のドキュメントを調べさせると、そのエラー率はかなり下がるし、主に構造化プロセスの部分に起因してると思う。他の人の経験が気になるけど、特にビジネスワークフローでLLMを使ってる人たちの話が聞きたいな。完璧なシステムはないけど、目的に応じたデータパイプラインにはLLMはかなり良いと思うよ。

同意するよ。だからこそAIは500億ドルの産業にはなるけど、5兆ドルの産業にはならないと思う。

完全に同意する。こういうのは曖昧なケースでは役立つけど、私たちは曖昧な世界に生きてる。ほとんどのことは曖昧で、完全に真実なことも完全に偽りなこともない。人間がコードを展開しても、それが必ずしも機能するとは限らないし、LLMも同じだよね。ただ、程度が違うけど。

今、いくつかのAIプロジェクトに取り組んでて、「何が起こったのか」っていうインターフェースを作ってるんだ。そうすれば、結果が本当に求めてたものかどうか分かるからね。マネジメント層は、これが欲しいっていうアイデアに困惑してるみたい。次の時間に「ユーザーが何かしたんだけど、何が起こったか教えて」って言われても、ねえ…100%じゃないんだから。

AIに対して過剰に褒めすぎだと思う。ほとんどのビジネスのユースケースでは、あんまり役に立たないのが明らかだよね。どの取り組みも同じ問題を抱えてる。スタッフが「これって実際にどう役立つの？」って聞いてくるのは、メールの文面を整えたり、コードを磨いたり、要約を書くくらいしかできないから。ほとんどの人の仕事とは違うんだよね。それに、AIは間違いや誤った前提をたくさん作るから、全部校正しなきゃいけないし、幻覚もあるし。ジョーやジェーンの労働者が自分の仕事を守るためにわざと使わないわけじゃないと思うけど、みんな楽に働きたいはず。でも、これらのLLMベースのAIは、特定のユースケース以外ではあんまり役に立たない。AIは過剰に持ち上げられてるし、今はそのハイプサイクルの中で、「この素晴らしいものが株価を上げると思ってるけど、実際にはほとんどのことに対してあんまり役立たない」って言いやすくなってるところだと思う。AIには役割があるけど、すべてを変えるような普遍的な存在ではないし、特定の狭いユースケース以外では大きな変化をもたらすわけじゃない。今、動画ゲームを作るのに3週目なんだけど（今までやったことないこと）、チュートリアルレベルのデザインを越えたら、これらのツールは本当に苦労してる。LLMが自然に成功するようなところ（構造化された論理言語）でも、まだまだ期待外れだと思う。みんながハイプに反発して、「この変なテキスト自動生成器は私には役立たない」って言えるようになってきてるんじゃないかな。

MITはバックオフィスの自動化で最大のROIを見つけたらしいけど、これに関するソースが全然見つからない。グーグルで探してもダメだった。ちょっと知ってる私からすると、あんまり信じられないな。人間と比べると、AIは固定された構造やプロセスが必要なところで苦労するし。

営業とマーケティングが最初に来る理由があるんだよね。それは「幻覚」に関係してる。人々は、営業やサポート、マーケティングを間違えても、最悪の場合は謝ってギフト券を渡せばいいって気づいてるんだ。それに、LLMの冗長な性質がマーケティングコピーを書くのに向いてるってのもある。顧客サポートみたいなビジネスプロセスアウトソーシングでは、たくさんの会社がLLMを使ってるから、その部分は私にはちょっと不明瞭。その他のBPOプロセスには会計や財務、IT、人事なんかがあるけど、企業は顧客のためにその幻覚リスクを取れるとしても、真剣なリスクだと見なしてる。例えば、AIの幻覚で会計や財務の業務がめちゃくちゃになったら、企業は本当に大変なことになるよ。他のバックオフィス機能、例えば人事やコンプライアンスでも同じことが言える。だから、この発言はただの戯言だと思う。

顧客がユーザーじゃなくて、上司や株主だったから。今、一部のオンラインショップが「うちのカスタマーサポートは素晴らしい！」って自慢してるのが面白いよね、だってLLMボットを使ってないからｗ

でも、私たち人間はあまり質問がないんだよね。うわ、これは私の個人的な経験とは全然合わないな。私は週に4〜5回、家の近くの貯水池を1時間くらい散歩して、自由に考えを巡らせてるんだけど、平均して少なくとも5回か10回は立ち止まって、後で答えを学ぶための質問をメモしてる。時には、その場で答えを学ぶためにペースを崩す価値があると思うこともある。

過去に似たようなことを人に伝えようとしたことがあるんだけど、JIRAのUIの443回目のデザイン変更でボタンが片側からもう片側に移動するっていうの。実際にはあなたのためじゃないんだよ。あなたはそのソフトウェアのユーザーじゃない。ソフトウェアのユーザーはプロダクトマネージャー（または同等の役割）で、彼らは今の役割や次の昇進を正当化する必要があるんだ。

こういう眼鏡は盲目の人にとって本当に役立つかもしれないね。似たような眼鏡を盲目の人向けに見たことがあるけど、理論上はいいアイデアだと思った。レンズの中に画面に文字を書く機能もあるみたいで、聴覚障害者にも良さそうだなって思った。ただ、こういうユースケースはかっこよくないし、大企業は地位や利益を保つためにかっこよくないといけないみたい。だけど、この技術は本当に脆弱な人たちに役立つかもしれないって感じがする。

休暇中はMetaの眼鏡をめっちゃ使ってるけど、たまに他でも使うくらいかな。最新のLlamaはOpenAIほど賢くないから、間違った回答が続いたら日常的な質問は諦めちゃった。でも、得意なシナリオでは本当に役立つよ。ヨーロッパを旅行してたとき、城の壁の彫刻を翻訳したり、歴史的なプレートを翻訳・要約したり、周りの状況を教えてくれたりしたんだ。

「顧客はユーザーじゃなくて、彼らの上司や株主だった。誰かに『おお、トレンドに乗ってる！』と思わせるためにやってたんだ。」これ、何度も見かけるよ。顧客をユーザーとして考えるのは、最後の関心事みたい。もし関心があるとしても。日々のナラティブに従ったり、投資家から資金を集めたり、役に立たない製品を小売に売りつけることが主な関心事。バポーワーや役に立たない、未発売の製品はここでは有利だよ。実際のユーザーは、どれだけ期待外れか、役に立たないかを報告するかもしれない。開発コストが高騰してるのが勝利として謳われてる。

クライアントのSaaS用にボックスに入ったチャットボットを実装したばかりなんだけど、これってどんな問題を解決してるの？私には全然わからない、ただ「AIがある」ってだけ。OpenAIのダッシュボードにはまだアクセスできるけど、実際に使ってる人はいないって確認できるよ。

そうそう、うちの会社でAIの実験をいくつか試してるんだけど、ちょっとインスピレーションを得るために周りを見てるんだ。結局、全部チャットGPTのラッパーみたいなもんじゃないの？それもできるけど、あんまり役に立たないし、データをどこかのAI会社に送ってるだけになっちゃう。クライアントのデータをそんな風に他に流すのはちょっと考えちゃうな。

顧客はユーザーじゃなくて、彼らの上司や株主だったから。最近、「AIがこういうことをもっと早くできるの？」って聞かれるようになった。最初は、そんなことはAIが得意なことじゃないからって説明しようとしたけど、実際には使ってるって言わなきゃいけないかも。たまには例を挙げる必要があるかもね。彼らはAIの素晴らしさを聞きすぎて、何か手助けできないことがあるとは信じられないみたい。私がAIを使うことに反対してないって言っても、ただ頑固だと思われそう。もし、AIを使ってスピードアップする部分を加えるのに実際の仕事が少し長くかかるとしても、彼らは喜ぶだろうね。

でも、私としては、あんまり質問することがないんだ。現実的には、仕事に直接関係ないことについて1日に10～100の質問をしてる。仕事に関する質問を含めると、その倍になるけど。

「5%はかなり良いよ。AIにはまだ改善の余地がたくさんあるからね。」それは、AIの成功がLLMの最前線の進展にどれだけ依存しているか、または実際にはほとんどの価値が「手の届く果実」に過ぎなかったかによるね。もし後者なら、ユーティリティカーブが平坦になっていることを示唆することになる。新しい開発が十分に重要な役割を果たしていないから。Sカーブを考えてるんだけど、2010年代はゆっくりとした改善が続いて、その後技術が「本物」を実現できるくらい良くなったときに活動が爆発して、効率や正確性の面で徐々に成果が出てきた感じ。

5%の成功率ってことは、うまくいけば他の95%が得られない価値を手に入れられるってことだよね。これって実行力に大きく依存してると思う。実行の段階では、詐欺みたいなものがたくさんあるし。

https://github.com/Papr-ai/papers/blob/main/v0.1%20State%20o...