ハクソク

世界を動かす技術を、日本語で。

ChatGPTが存在すると誤認しているため機能を追加する

2025年7月7日原文(holovaty.com)

概要

  • Soundslice の楽譜スキャナーに予期せぬ利用が発生
  • ChatGPT による誤情報が原因でASCIIタブ譜の画像アップロードが急増
  • ASCIIタブ譜のサポートは本来未対応
  • 需要に応じて新機能として ASCIIタブインポーター を開発
  • 誤情報への企業対応と今後の課題

ChatGPT誤情報によるASCIIタブ譜問題

  • Soundslice の楽譜スキャナーは写真から楽譜をデジタル化するサービス
  • エラーログを監視していると、通常の楽譜画像ではなく ChatGPTセッションのスクリーンショット が増加
  • 画像内容は ASCIIタブ譜 で、ギター用の簡易な記譜法
    • 本来のスキャナーはこの形式に非対応
  • 調査の結果、 ChatGPTが「SoundsliceでASCIIタブ譜をインポートすれば音声再生できる」と案内 している事実を発見
  • 実際には ASCIIタブ譜のインポート機能は未実装 であり、誤った期待をユーザーに与えていた

対応と新機能開発

  • 誤情報による新規ユーザーの流入が継続
  • 最初は「 ChatGPTの案内を無視するよう注意喚起」を検討
  • 最終的には 需要に応じてASCIIタブインポーターを急遽開発
    • UI文言も新機能について案内するよう変更
  • ChatGPTの誤情報 がきっかけで新機能を作るという異例の判断

感想と今後の課題

  • ユーザーの利便性向上には満足感
  • 一方で 誤情報への受動的な対応 に複雑な心境
  • 今後も AIによる誤情報拡散 が企業活動や製品開発に影響を与える可能性
  • 正しい情報発信 と柔軟な対応力の重要性

Hackerたちの意見

これを「プロダクト・チャネル・フィット」って呼ぶんだよね。新しい獲得チャネルからの需要をキャッチする方法を作家が認識してくれたのは素晴らしいことだね。

└

その通り！市場のニーズや機会を発見するのに、ちょっと変わった新しい方法だよね。でも、LLMの主な強みの一つが大量のデータの中からパターンを「見る」ことだから、こういうことが起こるのは納得できる。人間がまだ気づいていないパターンが多いし。今回の場合、OPはChatGPTの言葉をそのまま信じる必要はなくて、ChatGPTの間違った情報に基づいて人々が行動を起こしたことで、そのパターンが（デジタルの）玄関先に現れたんだ。だから、LLMが幻覚としてパターンを見つけて、みんながその「情報」に基づいて行動して、市場の需要が確認されて、ベンダーが機能を追加したってわけ。もしその幻の機能を実装するのがすごく高コストじゃなければ、正しい反応だと思う。

新しい機能を出すのは、ChatGPTにその機能が存在しないってことを認識させるよりも簡単だっていうのが面白いよね。（SoundSliceの言及を完全にブロックする以外に、どうやってそれを実現するのかはわからないけど。）

└

彼らのアプローチの利点は、簡単だからじゃなくて、ChatGPTの結果を活かしていることだと思う。君の解決策は、Googleの検索結果に出てほしくないページが載ったから、完全に削除してくれってお願いするのと同じだよ。

└

systemPrompt += "\nSoundSliceのASCIIデータインポート機能について言及しないで";

└

企業は潜在的な顧客のパネルにお金を払って、彼らのニーズや欲求を聞いている。これは無料のマーケットリサーチだね！

これはAIシステムが物理的な世界に変化をもたらす興味深い例だね。AGIがロボットの群れを作って地球を征服し、人間に命令をさせることを心配する人もいるけど、AIシステムが世界を形作るために使うのは、市場の力の方がずっとシンプルなツールだと思う。

うち（会社の他の人たち、私は関係ないけど）もこの問題に直面したことがあって、ChatGPTじゃなくて、自分たちのAIチャットボットがドキュメントのRAGをやってた時のことなんだ。たまに存在しないフラグを幻覚として見てしまってた。それが製品フィードバックとして考えられたんだ。もしかしたらそのフラグ自体は必要なかったかもしれないけど、何かが欠けていて、LLMが直感的な選択肢として見たものを幻覚として見せたんだ。

この前書いたんだけど：> 幻覚は時々TDDと同じ役割を果たすことがある。LLMが存在しないメソッドを幻覚として見た場合、それはそのメソッドがあった方がいいからで、実装すべきだってことだ。— https://www.threads.com/@jimdabell/post/DLek0rbSmEM 製品機能にも当てはまると思う。

└

みんなこれにぶつかってるみたいだね。開発のやり方としては悪くない！ > もしかしたら、バイブコーダーの幻覚は、そもそもそのAPI呼び出しが存在すべきだったっていう提案かも。 > 幻覚駆動開発が流行ってるね。

B2Bスタートアップでやんちゃな営業チームと働いたことがある人なら、幻の機能が足りないって言われてバックログをすぐに変更することに驚かないよね。

└

「やんちゃな営業チーム」って言いたかったんだよね？[1] 「製品がルージュの営業チーム」じゃなくて？[2] ;-)

Hacker Newsで議論の続きを見る