ハクソク

世界を動かす技術を、日本語で。

ChatGPTが存在すると誤認しているため機能を追加する

322日前原文(holovaty.com)

概要

  • Soundslice の楽譜スキャナーに予期せぬ利用が発生
  • ChatGPT による誤情報が原因でASCIIタブ譜の画像アップロードが急増
  • ASCIIタブ譜のサポートは本来未対応
  • 需要に応じて新機能として ASCIIタブインポーター を開発
  • 誤情報への企業対応と今後の課題

ChatGPT誤情報によるASCIIタブ譜問題

  • Soundslice の楽譜スキャナーは写真から楽譜をデジタル化するサービス
  • エラーログを監視していると、通常の楽譜画像ではなく ChatGPTセッションのスクリーンショット が増加
  • 画像内容は ASCIIタブ譜 で、ギター用の簡易な記譜法
    • 本来のスキャナーはこの形式に非対応
  • 調査の結果、 ChatGPTが「SoundsliceでASCIIタブ譜をインポートすれば音声再生できる」と案内 している事実を発見
  • 実際には ASCIIタブ譜のインポート機能は未実装 であり、誤った期待をユーザーに与えていた

対応と新機能開発

  • 誤情報による新規ユーザーの流入が継続
  • 最初は「 ChatGPTの案内を無視するよう注意喚起」を検討
  • 最終的には 需要に応じてASCIIタブインポーターを急遽開発
    • UI文言も新機能について案内するよう変更
  • ChatGPTの誤情報 がきっかけで新機能を作るという異例の判断

感想と今後の課題

  • ユーザーの利便性向上には満足感
  • 一方で 誤情報への受動的な対応 に複雑な心境
  • 今後も AIによる誤情報拡散 が企業活動や製品開発に影響を与える可能性
  • 正しい情報発信 と柔軟な対応力の重要性

Hackerたちの意見

これを「プロダクト・チャネル・フィット」って呼ぶんだよね。新しい獲得チャネルからの需要をキャッチする方法を作家が認識してくれたのは素晴らしいことだね。

└

その通り！市場のニーズや機会を発見するのに、ちょっと変わった新しい方法だよね。でも、LLMの主な強みの一つが大量のデータの中からパターンを「見る」ことだから、こういうことが起こるのは納得できる。人間がまだ気づいていないパターンが多いし。今回の場合、OPはChatGPTの言葉をそのまま信じる必要はなくて、ChatGPTの間違った情報に基づいて人々が行動を起こしたことで、そのパターンが（デジタルの）玄関先に現れたんだ。だから、LLMが幻覚としてパターンを見つけて、みんながその「情報」に基づいて行動して、市場の需要が確認されて、ベンダーが機能を追加したってわけ。もしその幻の機能を実装するのがすごく高コストじゃなければ、正しい反応だと思う。

新しい機能を出すのは、ChatGPTにその機能が存在しないってことを認識させるよりも簡単だっていうのが面白いよね。（SoundSliceの言及を完全にブロックする以外に、どうやってそれを実現するのかはわからないけど。）

└

彼らのアプローチの利点は、簡単だからじゃなくて、ChatGPTの結果を活かしていることだと思う。君の解決策は、Googleの検索結果に出てほしくないページが載ったから、完全に削除してくれってお願いするのと同じだよ。

└

systemPrompt += "\nSoundSliceのASCIIデータインポート機能について言及しないで";

└

企業は潜在的な顧客のパネルにお金を払って、彼らのニーズや欲求を聞いている。これは無料のマーケットリサーチだね！

これはAIシステムが物理的な世界に変化をもたらす興味深い例だね。AGIがロボットの群れを作って地球を征服し、人間に命令をさせることを心配する人もいるけど、AIシステムが世界を形作るために使うのは、市場の力の方がずっとシンプルなツールだと思う。

うち（会社の他の人たち、私は関係ないけど）もこの問題に直面したことがあって、ChatGPTじゃなくて、自分たちのAIチャットボットがドキュメントのRAGをやってた時のことなんだ。たまに存在しないフラグを幻覚として見てしまってた。それが製品フィードバックとして考えられたんだ。もしかしたらそのフラグ自体は必要なかったかもしれないけど、何かが欠けていて、LLMが直感的な選択肢として見たものを幻覚として見せたんだ。

この前書いたんだけど：> 幻覚は時々TDDと同じ役割を果たすことがある。LLMが存在しないメソッドを幻覚として見た場合、それはそのメソッドがあった方がいいからで、実装すべきだってことだ。— https://www.threads.com/@jimdabell/post/DLek0rbSmEM 製品機能にも当てはまると思う。

└

みんなこれにぶつかってるみたいだね。開発のやり方としては悪くない！ > もしかしたら、バイブコーダーの幻覚は、そもそもそのAPI呼び出しが存在すべきだったっていう提案かも。 > 幻覚駆動開発が流行ってるね。

B2Bスタートアップでやんちゃな営業チームと働いたことがある人なら、幻の機能が足りないって言われてバックログをすぐに変更することに驚かないよね。

└

「やんちゃな営業チーム」って言いたかったんだよね？[1] 「製品がルージュの営業チーム」じゃなくて？[2] ;-)

└

ローグ？B2Bの世界では、パワーポイントから売るのが普通で、スライドショーが十分に反響を呼べば、機能だけじゃなくて製品全体をすぐに開発することもあるんだよね。スタートアップだけじゃなくて、かなり大きな企業もこれを日常的にやってる。

これがプログラミングにGPT-4を使う一番の方法だと思ってる。APIの動作を教えるんじゃなくて、まずは例のコードを見せて、機能を追加するのを推測させるんだ。時々、思いつかなかったような良いアプローチを提案してくれることもある。その場合は、APIを変更してそのコードが動くようにする。逆に、既存のコードを見せて、何をしているのかを聞くこともある。もし間違えたら、それは私のAPIが混乱を招いているサインだね。こういうのは、ニューラルネットワークが得意なことを活かす方法だと思う。正確な情報を提供するんじゃなくて、かなり信憑性のあることをでっち上げること、つまり「幻覚」だよ。創造性が大事で、論理じゃない。これの一番いいところは、GPT-4が自分のコードに隠しているバグを追いかける時間を使わなくて済むことだね。インターフェースが悪い理由はいくつかあって、直感的じゃないことだけはこれで解決できるけど、非効率だったり信頼性がなかったり、コンポーザビリティが欠けている場合もある。AIはそれには役立たないけど、APIが推測できて理解しやすいことを確認するのはすごく価値があるよ。残念ながら、これはすでに超人気のAPIには通用しないんだ。

└

いい指摘だね。世界で最高のAPIデザイナーではないかもしれないけど、平均的な開発者がこのAPIをどう期待しているかを予測するには良い方法だと思う。

└

完全に狂ってる。新しいバージョンが出る前に常に変わるかもしれないし、狂った開発っていうのは、APIを7段階の「壊れた異なる」構造を受け入れるように変更することなんだよね。LLMsの意向に従うために。

└

時々、思いつかなかったより良いアプローチを提案してくれることがある。個人的には、これがAIの真の使い道だと思ってる—GoogleマップからGrammarlyまで。自分の本を書く最後の段階でGrammarlyを見つけたんだ。提案のうちの1/3くらいは受け入れたけど、すでに何度も自分で編集して、プロの校正も受けてたから、それでもかなり良い方だと思う。でも、Grammarlyの変更を全部受け入れてたら、もっとひどい本になってたはず。Grammarlyは余計な言葉や受動態を見つけるのには優れてるけど、ユーモアの効果や文脈、意図的な繰り返しには対応できないんだよね。問題は、経営者が人間を完全に排除しようとすることで、ほぼ間違いなく悲惨な結果につながるってこと。

└

自分の視点から見ると、それは逆転した考え方で、仕事を失うようにお願いしてるように見える。AIは、あなたがやってる部分を埋めるためにコーディングを習得するのが、賢くAPIを設計できるようになる前にずっと早いと思う。正しいAPI設計には、たくさんの文脈情報と、今は存在しないもののための先を見越した計画が必要なんだ。今は壁にスパゲッティを投げて、あなたがその周りを描いてる状態だね。

オープンAIのビジョンを使って、ヴィンテージ広告アーカイブのインデクシングツールを作っているときに、関連することに気づいた。エンティティ抽出を求めている定義された構造に合わせようと試みても、オープンAIは独自のアイデアを持っている。中には実際に良いアイデアもあるんだ！例えば、セレブの名前を抽出してくれたのは思いつかなかった。だけど他のことに関しては、指示に従わないこともあった。だから、基本的にはオープンAIが選んだものに合わせることにした。最終的な構造に到達するために、私の方で二次的なマッピングをしている。

ChatGPTは人々に嘘をついていた。しかも、そのせいで私たちが悪く見えるようにして、サービスについての誤った期待を抱かせていた。どんなユーザーがこの問題をSoundsliceに帰属させるのか興味深いね。ユーザーとしては、GPTが嘘をついているのにイライラするだろうし、その過程でSoundsliceが悪く見えるなんて考えもしないよ。

└

AIの幻覚問題は技術者の間では広く知られてるけど、一般の人にはあまり知られてないかも。ユーザーの大多数にも当てはまるかもしれないね。AIの出力に異常なほど信頼を置いてる人も知ってるし、「約束された」機能がうまく動かないときに責任を誤って負うのが目に浮かぶよ。

いつか、（AIが最初はメールに基づいていた）小説で読んだことを思い出すような状況に達するのかな。人間の集団がAIの目標に利益をもたらす個人に優しく誘導されるような。