私の経験では、トランスクリプションはかなりうまくいくし、そういう場合にはトランスクリプトを真実の基準として扱うべきだと思う。

コンプライアンスの理由から、病院は記録を変更したくないと思うだろうし、トランスクリプトだけを使うべきだと思うけど、私が何を知ってるっていうんだ…私もこれには困惑してる。なんでトランスクリプトを生成して終わりにしないの？もし特に長いトランスクリプトが何度も参照されるなら、人間が必要だと思うところで横に要約を付け加えればいいんじゃないかな。少なくとも私の経験では、こういうやり取りには最初からフィルタリングできる余計なデータがあまりないことが多い。詳細はかなり重要なんだよね！

最近、母の日のメッセージを残したんだ。普通の内容で、「電話に出られなくてごめんね、今夜か明日でもいいから、都合のいい時にかけてね、話せるのを楽しみにしてるよ、愛してる、じゃね」って感じで。そしたら、その夜に母から電話がかかってきて、少し話した後に、ちょっと戸惑った感じで「ねぇ…何か伝えたいことあった？」って言われて、完全に困惑しちゃった。「えっと、別にないと思うけど…？」って返したら、母が私のメッセージについての通知を説明してくれたんだ。どうやら、私のボイスメールが75%は無意味な人間のやり取り（ほとんどのボイスメールがそうだよね）で構成されてるのに、それが堅苦しくてビジネスっぽい言葉に変換されて、ちょっと不気味なトーンになってたらしい。母の日の挨拶をしたいっていうメッセージの中の一つ一つの言葉に、過剰に意味を持たせてしまって、すぐに連絡を取りたいっていうのも（母の日の挨拶のために）とか、そういうのが強調されてたみたい。さらに、電話の情報密度を大げさにして、私が何か重要で緊急なことを伝えようとしてるみたいに聞こえたらしくて、母はそれを読んでちょっと心配になったみたい。私としては、ただ母を祝いたかっただけなのに、こんな結果になってちょっとイラっとしたよ。今や、すべてに中途半端なLLMの要約が必要みたいだね。

私が受けたすべての医者の訪問では、記録の修正ができたよ。ほぼ半分の確率で意味のある間違いがあったから。要約はすぐに確認して、できるだけ早く医者に連絡してね。彼らは通常、自分で修正できるし、みんながその出来事を覚えているうちにやった方がいいよ。

でも、誰が責任を持つかは別の話だよね。（もし標準的なAI導入前のノートテイキングで60%のエラー率があるなら、それが多くの死や怪我に繋がらないのはどういうこと？少なくとも、どこかの国の医療システムはそれを見逃すべきじゃないと思う。）

これはあまり人気のない意見だけど、「AIはXが苦手だけど人間も同じ」ってのは有効だと思うし、特に医療分野では勝てるところは勝っていくべきだよね。初期の正確性の問題は、こうした技術が成熟するにつれてどんどん少なくなるのは明らかだよ。ただ、今の段階で「見て、悪い」っていうポイントで正確性に焦点を当てるのは、本当の危険を見逃してる。医療ノートテイカーはお金のためにハイジャックされる可能性が非常に高いし、これは今注目すべき問題だよ。彼らは1兆ドルの産業へのリアルタイムフィードを提供してるんだから。ちょっと考えてみてほしい。保険会社はそのフィードをリアルタイムで利用して、もっとお金を絞り取ろうとするだろうし、製薬会社もそのデータを悪用したいと思うだろう。病院もそのフィードを利用して、医者からもっと搾り取ったり、各診療の請求コードを増やそうとするだろう。患者を助けるためにそのフィードを利用しようとするところはほとんどないと思う。私はこうしたシステムには賛成だし、過去にそれを構築するのに関わったこともあるけど、明らかにビジネスの興味が関わってくることについては、もっと大声で叫ぶべきだと思うよ。短期的な正確性の問題じゃなくてね。

60%は異常に高いし、人間のミス率とは全く違うパフォーマンスだよ。どのチャートを見てるの？

人間でも60%のエラー率があったとしても、エラーの種類は全然違うよ。人間はタイプミスをしたり、何かを忘れたり、時にはちょっとした細かいことを思い違えたりすることはあるけど、AIが無から幻覚を見て間違えるのとは全然違う。AIは人間が絶対にしないような間違いをするから、すごく混乱させるし、簡単に見つけられることもあれば、逆に人間が全く疑問に思わないようなことを言ったりするから、なぜAIがそんなに間違ったことを自信満々に言うのか理解できない。

60%って普通の人間のミス率なの？マジで言ってるの？

それは突飛な主張だね。証拠を見せた方がいいよ。私もいくつかの医療チャートを見たけど、エラー率はそんなに高くないよ。通常、すべてが口述されて転記されるから、かなり成熟してて正確な技術だし。

AIベースのユーザー体験を設計する際、私はこれを「出所」と呼んでいる。信頼性、信頼、コンプライアンスなどの重要な側面だよね。もしソフトウェアシステムがこういうLLMの出力を含んでいて、その出力の出所を人間が評価・検証できるようにしていないなら、それはせいぜい悪いユーザー体験で、最悪の場合は危険なものになる。

そうだね、君が言ってることは次のどちらかを必要とするよ： - 誰かが全てのメモを聞いて確認する（時間も人手もかかる） - 出席者が記憶を頼りにメモをチェックする（メモを取らないとエラーが出やすい） - 出席者が自分のメモと照らし合わせる（AIのノートテイカーの意味がなくなる） 実際には、正確さが重要な文脈ではAIの使用はどんな形でも受け入れられないけど、それを認める人はなかなかいないよね。

それは「ノートテイカー」って感じじゃなくて、音声サンプルの検索エンジンみたいだね。正確さを求めるなら、全部聞かなきゃダメだよ。

実際には、本当の知能を達成するための正しい道を歩んでいるわけではないんだ。本当の知能っていうのは、知らないことがあったら「わからない」って言ったり、助けを求めたり、あるいは助けを拒否することも含まれるんだけど、その裏には「バカに見られたくない」っていう気持ちがある。モデルは、自分の結果に自信がないときにはこういうことができるはずなんだけど、実際にはそうしてない。これが計算的に難しいからなのか、あるいはそれを使う企業の評判に悪影響を与えるからなのかはわからないけど。

自分が賛成しないプロセスに対して解決策を提供するのは嫌なんだけど、もしかしたらファジーツールも、私たちが必要とするのと同じ理由で古いスタイルの決定論的ツールが必要かもしれない。だから、LLMが4chanやポッドキャスト、ひどい料理本から見つけた似たような単語の統計的な一致を探して数学や論理の質問に答えようとする代わりに、必要なときには計算機を使えばいいんじゃないかな。

その通りだね。業界があまり話したがらない能力と信頼性のギャップがあるよね。AI業界は能力と信頼性が根本的に異なる特性であることを常に見過ごしているように感じる。私たちは「正確」と「信頼性」を同じ意味で使いがちだけど、実際は違うことを表してる。モデルがベンチマークをクリアしても（能力/正確性）、実際の運用では負担になることもあるからね。最近のMETRのリリースに対する反応を見てみて。改善された能力を示してるけど、あまり話されないのは、彼らの成功率が50%であること（さらにあまり話されない80%の成功率の二次的な測定は、タスクの時間的な視野が drastically lower なんだ）。私は企業向けにAIシステムを実装してるけど、80%の信頼性（ましてや50%）でOKなところは知らないよ。

実際、ズームのLLM要約が誰かの発言を誤って別の人に帰属させたことで、深刻な問題が起きたのを見たことがあるよ。会議に出られなかった別の人がその要約を読んで、大きな議論になったんだ。そのトピックはその人にとって敏感な問題だったから、会社内のongoing debateのせいでね。会議に出た全員がそれは間違いだと確認したけど、偶然のタイミングが彼に受け入れがたいものにしてしまった。LLMの要約が、その人の懸念を正当化するように見せてしまったから。ドラマはヒートアップして、経営陣が独立した検証なしに生成された出力を信じないという方針を作るまでになったよ。少なくとも、教訓にはなったみたいだね。

お知らせ：この会議の新しいAI正確転写機能が大好き！