世界を動かす技術を、日本語で。

デロイト、44万オーストラリアドルの報告書にAIを使用した後、オーストラリア政府に返金へ

概要

  • Deloitteが AI利用による誤り を含む報告書で 政府に一部返金
  • 報告書には 架空の引用や誤った参照 が多数含まれていた事実
  • AI生成コンテンツ が品質問題の一因と指摘
  • 報告書の 結論や提言自体は維持
  • 今後の コンサル契約やAI利用 への信頼性問題

DeloitteのAI活用報告書に関する返金問題

  • Deloitteが 連邦政府向け報告書AIツール(Azure OpenAI GPT-4o) を使用

  • 報告書に 複数の誤り (架空の引用・存在しない裁判例など)発覚

  • Department of Employment and Workplace Relations(DEWR) が最終支払い分の返金を要求

  • Deloitteは 誤った脚注や参照 を一部訂正、ただし 提言内容は変更せず

  • 返金後、 契約内容は公開予定

    • 報告書初版は2024年7月4日公開、後に訂正版を再掲載
    • Australian Financial Review が8月に誤りを指摘し、問題が表面化
    • University of Sydney のDr Christopher Rudgeが「AIによる“幻覚”」と表現

AI活用による品質問題と業界批判

  • Deloitteは AI活用が誤りの直接原因 とは認めず

  • Labor党のDeborah O’Neill上院議員 が「人間の知性の問題」と批判

  • 「コンサル契約時は AI利用の有無や専門性 を確認すべき」と提言

  • ChatGPTサブスクリプション の方が有用では、との皮肉も

    • 元報告書には 実在しない論文や裁判例 の参照が複数
    • 報告書の修正版で「AI利用」を付録に明記
    • Deloitteは 報告書の結論・提言自体は正当 と主張

今後のコンサル業界とAI利用への影響

  • AI活用による品質担保説明責任 の重要性増大
  • コンサルティング業界の 信頼性低下リスク
  • AI生成コンテンツの検証体制 強化の必要性
  • 発注側は AI利用有無や専門家関与 の事前確認が必須
  • 政府調達における透明性・説明責任 の強化要請

Hackerたちの意見

知っておくべきことだね…オーストラリア政府を欺いて納税者のお金を不正利用したら、結果は部分的な返金だけだよ。

クレイグ・ライトの話だね、彼は有名なサトシの偽物だよ。ビットコインで名を馳せる前に、彼は詐欺的なGST還付やR&D税額控除を使って何百万も盗んで、さらに数千万を狙って捕まったんだ。彼はオーストラリアを逃げ出して、詐欺の一部を返済したけど、その後は他の国で贅沢に暮らしていて、税金の詐欺に対するさらなる罰は受けてない。

公平に言うと、これが基本的に必要な仕組みなんだよね。10人のうち1人の不正社員がいたら、全額返金されると思う? いや、請求可能な時間と不正による損害賠償しか戻ってこないよ。逆に働く契約があったら、契約書の方が実際の作業より長くなっちゃうよ。

誰かコンサルティングがどう機能するのか、そしてなぜそうなのか教えてくれない? もしある男がアドバイスをする以外に本当のスキルがなかったら、負け犬扱いされるよね。でも、これを会社にして、企業や政府がそのアドバイスを求めて列を作る。自社の従業員の方が、何も知らない外部の人よりもアドバイスをくれるんじゃない? ただググったりプレゼンを作ったりするだけの人たちに頼るのはどうかと思うんだけど。

自分の決断に責任を持つために、誰かを責める理由を探したり、決断をした後に「論理的」な理由を見つけようとすることだね。でも、そうすることで自分がバカに見えたくないだけなんだ。

もし実行したい悪いアイデアがあって、その責任を取りたくないなら、コンサルタントを雇い続けて、自分が聞きたいことを言ってくれるまで待つんだ。コンサルティングの質なんて関係ないし、インターンやAIでも十分だよ。プロジェクトが結局失敗したら、コンサルタントのせいにする。自社の従業員は会社にとって何がベストかアドバイスしてくれるけど、自分のために何がベストかは考えてくれないから、彼らを抑えつけて黙らせて、彼らの立場を学ばせるんだ。誰かが何が起こったのか気づく頃には、もう次に進んで素晴らしい履歴書のポイントを手に入れてる。

理論的には、ユニークな問題や課題を解決するのが得意な人たちがいるんだ。特定の問題に特化して、多くの会社でそのバリエーションを解決する経験を積んでいる人もいるかもしれない。彼らは伝統的な会社では過小評価されていて、給料も低いことが多い。もしそういう人たちを集めて会社を作り、彼らの専門知識を高く売ったらどうなるだろう? コンサルティング会社に本当のスキルがないと考えるのは間違いかもしれない。実際、彼らはただの「マネジメントコンサルタント」ではなく、技術系のコンサルタントも多いんだ。技術系の会社も基本的には専門のコンサルタントだし、セキュリティ関連は特にそのモデルが一般的で、少なくともいくつかの会社は能力に対して尊敬を集めている。コンサルティング会社には多くの批判があるけど、それは正当なものもある。HNのコメント欄でも悪いコンサルティング体験の話が見つかるかもしれない。でも、ユニークな問題を解決する才能がない会社で働いていた人たちも知っているし、彼ら自身が問題を引き起こしていることもある。良いコンサルタントは、従業員から見落とされたり無視されたり、うまく伝わっていない洞察を引き出そうとするんだ。彼らは要件収集やマネージャーとのコミュニケーションなど、良いソフトウェアエンジニアと重なる問題解決スキルを持っている。

私が直接見たコンサルタントの使い方をいくつか紹介するね:- 彼らは私たちの会社が政府のR&D税額控除の複雑なルールを乗り越えるのを手伝ってくれた。開発者全員にインタビューして、ガイドラインに対してどれだけがR&Dだったのかを評価してくれたんだ。これはコンサルタントを使う良い例だと思う。専門知識を持った人を得られるし、巨大な会社でない限り、常にその知識を持った人を雇うのは無理だから。- 彼らは私たちのソフトウェア開発の実践について調査を行い、他の多くのソフトウェア会社とも同じことをして、私たちのパフォーマンスを他社と比較してくれた。もしあなたがソフトウェアについて何もわからない無能なマネージャーなら、これは良いかもしれない。プロセスを改善する明らかな方法を指摘してくれるかもしれない。でも私たちにとっては、時間とお金の無駄だった。

単に「アドバイスをする」だけじゃないよ。「コンサルティング」には、ソフトウェアの実装までいろんなことが含まれてる。顧客は大企業で、予算も大きいし、いろんな規制もある。彼らが一番求めるのは法的な保証なんだ。プロジェクトがうまくいかなかったり、時間通りに実施されなかったりした場合、訴えられる相手が必要だから。単に破産して消えるような人じゃない、ってことね。「品質」は法的な保証に比べると、ほとんどオマケみたいなもんだ。そこでコンサル会社が登場する。彼らは大量の社員を抱えてて、その多くは大学を卒業したばかりの人たち。彼らが生み出す仕事の質はあまり良くないかもしれないけど、問題が起きたときには、いつでも人を追加投入できる(あるいは無給で長時間働かせることもできる)。だから「ミートファーム」なんて呼ばれることもある。簡単には破産しないしね。こういう会社がソフトウェアを開発する方法は、しばしば海外の第三者を介して、時にはいくつかの中間会社を通じて行われる。それぞれが自分の取り分を取るんだ。これが機能するってことは強調しておきたい。退屈で、時には魂を削られるような仕事だけど、簡単じゃない。規制に対処するだけでも仕事になるからね。中規模のプロジェクトを始める前に書かなきゃいけない契約書は、非常に詳細でなきゃいけない。プロジェクトが脱線したときにどうなるか、ペナルティは何か、誰が何を払うか、そういうことが書かれてる小さな本みたいなもんだ。ソースとして言うと、私はアクセンチュアに入社したとき、まさに「大学を卒業したばかり」の人だった。あるとき、静的なウェブサイトのスクロールバーの色をデフォルトから黄色に変えるのに、どれくらいのコストがかかるか見積もるように頼まれたことがある。その変更だけで、インドの誰かが実装する10行のコード変更に、3000ユーロかかるって見積もったんだ。これが2010年頃の話。退職金を提案されたときは嬉しかったよ。

私たちのようなサークルでよく聞くトロープは、大手4社のコンサルタントは不人気な決定を正当化するために存在するってこと。これは時々本当だけど… 大企業や政府は、みんなが好き勝手にミッションのために行動できるスタートアップじゃない。企業や政府は、非常に特定の役割と責任を持った人を雇う。責任を超える行動は推奨されない。大きな組織の中では、従業員は「この決定をして失敗したら、どれだけヤバいことになるんだろう?」って考えなきゃいけない。スタートアップは大きな損失を気にせずに書き捨てられるけど、大企業や政府は調査しなきゃいけない。大きな決定をする必要があるとき、たとえインターンが完璧なアイデアを持っていると確信していても、その決定を任せるわけにはいかない。失敗したら、誰がインターンにそれをやらせたんだって責任を問われるからね。だから、(名目上は)専門家であるコンサルタントを呼んで、自分の責任を「正しいことをした」ってところで終わらせるんだ。もし何か問題が起きても、自分の責任じゃないってわけ。

なんで会計士や弁護士が必要なの?それと同じことだよ。企業はたくさんのことに対してすべてのスキルを社内に持っているわけじゃない。私はITコンサルタントだった。ある大手エネルギー会社がAWSクラウドに移行したいと言ってきたけど、彼らの人たちは忙しすぎて経験がなかった。私たち(私のコンサルティング会社)はすでにその知識を持っていた。コンサルタントは単にアドバイスをするだけじゃない。多くの場合、実際に作業もする。でも、アドバイスも「製品」なんだ。社内チームに知識や時間がなければ、コンサルティング会社を雇うんだ。

どれだけの企業が社内に専門知識を持っていないか、驚くと思うよ。そして、その中で、専門知識なしに財務や技術的な決定を下して、いろんなトラブルに巻き込まれる企業がどれだけ多いかも驚くかも。さらに、社内に専門家を装っている一人の男がいて、他の人が雇われるのを防ごうと必死になっている企業も多いんだ。良いコンサルタントは、どうすればいいかを証拠をもとに教えてくれる。さらに良いコンサルタントは、必要に応じてプロジェクトベースでそのサービスを提供する。IT業界の「良いコンサルタント」は、本当に重鎮なんだ。私たちは、同じ経験を持つ人がほとんどいないような、いろんなスキルセットを持っているし、その専門知識を常に持ち続けることは誰もできないけど、月に数時間のためにお金を払う人はたくさんいるよ。もちろん、これはほとんどのコンサルティング会社の販売チャネルを反映していないけどね。営業は、サービスのためにお金を払わせるために、誰にでも話しかけることに集中している。大手コンサルティング会社が関与する場合、意思決定者は王族のように扱われることが多い。たいていは、配偶者を裏切る手助けをしたり、薬にアクセスする手助けをしたりすることが含まれている。コンサルタントが支払う、通常はラスベガスへの一週間の出張、たっぷりの小遣いカード付き。小規模な意思決定者は、地元のストリッパーとビールしか得られないかもしれない。一度、私たちがXについてコンサルティングしていた会社が、Yプロジェクトのコンサルタントに嘘をつかれているのではないかと心配して、私たちがクライアントの前で会議でそのことを探り出したことがあったんだ。彼らはただ、Dynamics CRMとSharepointを何が何でも正当化するように言われているだけだって明らかになった。

見落とされがちなポイントは、彼らが社内の人間じゃないってことだと思う。それが特徴でもあるんだよね。社内チームが同じ専門知識を持っていても、社内のプロセスや階層に従わなきゃいけないから。もしCEOがコンサルタント契約にサインしたら、彼らは同じアリーナで戦わないし、内部チームが直面するハードルを回避できることが多いんだ。内部の人たちもあまり不満を持たないしね(社内チームがプロセスを回避するのと比べて)。

例えば、あなたがビジネスや政府機関とかだとするじゃん。基本的には一つか少数のコアなこと(提供している製品やサービス)に集中してる。でも、突然変化が訪れることもある。市場が変わったり、技術が進化したりね。そうなると、専門外のことだったり、自分たちでやるリソースがなかったりする。だから、N人を雇う代わりに外部の人にやってもらうんだ。特にエージェンシーでは、予算を考えなきゃいけないし、気軽に人を雇えないし、解雇も難しいから、これが魅力的なんだよね。そこでコンサルティング会社が登場する。大手のコンサルティング会社は大きくて、世界中に専門家ネットワークを持ってるから、解決したい問題に詳しい人がいる可能性が高い。賢い人たちを雇って、しっかり働いてくれる。良いシナリオだと、コンサルタントがあなたにインタビューして、組織を深く分析して、データを見て、問題を解決するために必要なことを明確にしてくれる。通常は戦略面でね。実際の実施については、ステップ1に戻って人を雇うか、別のコンサルティング会社に実施作業をやってもらうかのどちらかだ。これが理想的な状況だよ。時には、コンサルタントが物議を醸すリーダーシップの決定を承認するためだけに雇われたり、内部で支持を得られないことをバックアップするために使われたりすることもある。

ほとんどの場合、政府や組織、企業は社内のエンジニアの意見を聞かずに、コンサルティング会社にお金を払うんだ。そして、結局同じことを確認するか、「解決に向けて行動を起こしている」と示すためだけに。場合によっては、経営陣が社内の従業員を信頼していなかったり、他のケースでは計画されたタスクからチームを逸らさずに迅速な結果を示したいと思っていることもある。もちろん、マネージャーが個人的な動機を持っている場合もあって、無駄な成果をリストに加えたいだけだったり、外部のコンサルタントから紹介料や贈り物をもらいたい場合もある。

それって、ある種のデューデリジェンスの演出だよね。特に、マネージャーは競合のエンジニアが何を勧めるかを知りたがってる。これがコンサルタントが言うところの、最も基本的なアドバイスなんだ。

会社の中で働いている人たちは、問題の判断者でもあり当事者でもあるから、コンサルタントを呼ぶのは悪いアイデアじゃないこともあるよね。独立した、少し誤解している人がいい?それとも、問題に関与していて知識がある人がいい?

もし社内のエンジニアがバカばかりで、特定のプロジェクトを正しく進める必要があるとしたらどうする?普通のエンジニアを持ち上げることが理解できない。彼らは普通の人たちで、普通の分布から選ばれていることが多いから、その結果も伴うんだよ。

コンサルティングが法的な問題やパフォーマンスの問題に対する責任を分散させる役割を果たしていることを見落としてるよ。

もし問題が起きたら、ディレクターは「私たちはデロイトのアドバイスに従っただけ」と言えるけど、「ITのボブがそう言った」じゃ、同じように責任を逃れられないよね。

それを表すシンプルな表現があるんだ:決定の洗浄。内部で既に決めた決定に信頼性を与えるために、第三者を使うんだ。CEO自身もプライベートではそう言ってるよ。

お金持ちが他のお金持ちを助けるって感じだね。

MBAを取得してコンサルタントになるように育てられたけど、今はソフトウェアエンジニアとして後悔している私から言わせてもらうと、コンサルティングプロジェクトの顧客は経営者なんだ。1. 経営者は新しい製品分野やM&Aの可能性、より垂直統合などを探る責任がある。2. 経営者は「賞金の大きさ」を測る必要がある。これはやる価値があるのか?大体どうやってやるのか?どれくらいの時間がかかるのか?3. 経営者はおそらく、そういった選択肢の一つについて大まかなアイデアや直感を持っている。4. コンサルタントは通常、その直感を支持するようなものを生み出すか、他の選択肢を提案して、事実や数字を提供してサポートする。

ビンゴ。それが「クライアント」と「顧客」の違いだね。

数年前、私は「イーロンならどうする?」っていうアシスタントを紹介されたんだ。経営者たちは、自分たちの(現在のまたは仮想の)競争相手が、決定支援データをもとに何をするかを知りたいんだよね。でも、コンサルタントのアシスタントが知っていることも知りたいみたい。 (彼の政治的な業績が出るずっと前の話ね)

これは業界や地域によるね。私は大企業で働いたことがあるけど、コンサルタントの顧客は実際には中間管理職で、経営者からは何層も離れていることが多い。

軽くリサーチして、相手が聞きたいことを言ってあげるといいよ。これって、AIによる disruption が起こりそうな予感がするね。

経済規模に対して、社会に対する価値をほとんど生み出さない組織って、ビッグ4以外にあるのかな?

コンサルタントやアウトソーシングの問題を挙げるついでに、もう一つの潜在的な問題はAチーム/Bチームの切り替えだね。最初の契約時には、実際に知識があるように見える人と話していることが多いんだけど、雇ったらその知識のある人は次の大きな営業に移ってしまって、BチームやCチームが来ることがあるんだ。

それをポジティブなコメントでバランスを取ると、コンサルタントやアウトソーシングを選ぶ理由の一つは、内部で常勤のリソースを確保できない大規模なプロジェクトがある時だよね。だから、個別の契約者をたくさん雇ってチームを作るか、あらかじめ組まれたチームを一定期間雇うかの選択になるんだ。[1] [1] 時には「再構築されたチーム」として売り出されるけど、実際にはコンサルタントによって同じように雇われることが多いんだよね。

大規模なサポート契約で$WITCHを使った経験から言うと、最初はAチームがアプローチしてくるけど、実際に来るのはBチームで、あなたが注意を逸らした瞬間にZチームに入れ替わるんだ。これは、質やスキルが最重要だと明言した契約だったんだけど、彼らは市場価格を超えてでもそれを維持できれば喜んで支払うと言ったのに、結局彼らは欲をかいて契約を完全に失ったんだ。

これを聞いたことがあるけど、コンサルタントとして働いていた時の経験では、顧客は代替案を受け入れる前にかなりの調査をするんだよね。これって契約者であってコンサルタントじゃないのかな? ;-)

それが全てのゲームだよ。パートナーに会って、ジュニアを連れてきて、パートナーの費用を払う。運が悪いと、ジュニアを教育するために時間を使わなきゃいけないこともあるしね。

普通は、チームAの人が数人いて、その人たちが次のクライアントのために必要なんだよね。

特にチームが大きくなると、100チームと一緒に働いてるAさんがいて、あなたが本当に疲れ果てたときに落ち着かせてくれるんだ。「絶対にあなたのプロジェクトを把握してる」って言ってね。残りはみんなジュニア(今はAIでジュニアが減ったけど)。私のクライアントは500k払ってプロジェクトを依頼して、品質をチェックしてほしいって言ってきた。彼らは過去数ヶ月、15人に支払ってると思ってたんだ。でも、Zoomでチームと話してみたら、カメラや接続の問題があった後、15人が揃った。だから、全員にインタビューすることにしたんだ。唯一一人だけがプロジェクトの技術的な詳細を知っていて、残りは全然知らなかった。その一人は、クライアントが最初に雇ったテックリードで、プロジェクトにはパートタイムで関わってるか、少なくともタスクを見てるみたい。大量の(悪い)コードを見た感じ、私たちの疑いは、5人くらいがcodex/claudeのコードを使ってタスクをペーストして、コードを待って、いわゆる「偽のQAプロセス」を経て、コミットしてデプロイしてるってこと。これがAIの前にもあったけど、その時は実際に15人がコードを書いてたんだろうね。でも、ジュニアばかりで、支払ってるシニアがいなかったってわけ。

これ、いい感じに時が経ったね。 https://dilbert-viewer.herokuapp.com/2000-01-01

これは主に報告書の作成を監督できなかった失敗の話で、AIに関することではないよ。こういうプロジェクトにおけるアウトソーシングのコンサルタントの役割は、結果が公の scrutiny に耐えられるようにすることなんだ。彼らは明らかにそれに失敗した。報告書の誤りが軽微か重大かに関わらず、またそれがAIの使い方が悪かったのか、夜遅くまで働いているコンサルタントのカフェインの影響かに関わらず、唯一の結果が部分的な返金だけというのはかなり衝撃的だよね。

CEOたちは、(ほとんどが的外れな)GenAIが自分たちの人を置き換えるって言い続けてるけど、彼らが見落としてるのは、顧客もGenAIで作られた仕事に対してはもっと安く払うことを期待するってこと。これがコスト削減をほぼ消し去るんだよね。無知なCEO、おめでとう…今や、マージンが低い悪い商品を売ってるだけだよ。成功だね!

関連して、ポストAIのビジネスでの成功は、同じ人数かそれ以上でより多くのことをすることにあると思う。つまり、同じことを少ない人数でやるのではなくてね。AIの部分が自動化されたものの価値を下げ、供給を増やすから、最も多くの人を解雇して同じ仕事を続けようとするのは、ビジネスを生き残らせたい人にとっては全く意味がない。以前は手が届かなかったスケールと品質を提供しなきゃいけないし、それが今や業界のスタンダードになってるんだ。

この特定のレポートは、仕事を探している失業者に対する給付金の支払い(または支払いの不履行)に関するもので、つまり、AIに仕事を奪われるとされる人たちのことなんだ。

これに付け加えると、顧客は仕事をちゃんとやるために人間に責任を持たせるためのお金を払ってるんだよね。形のない「AI」には責任を持たせられないから、こういうレポートに使われるお金には見合わないと思う。

「サービスの価値をゼロに近づけつつ、同時に追加の価値を生み出すことができる」というのがここでの考え方だった。

背景として、このレポートは、要件を満たさないために人々に人生を台無しにするような罰金を誤って送信していた問題のあるITシステムに関するものだった。政府の支援を受けている間に、何件の仕事に応募したり、仕事を受け入れたりする必要があるかを満たさないと、罰金が課せられるんだ。罰金は判決債務の形で来るから、人々は実際に債権者が現れて財産を持っていかれることになる。深刻に欠陥のあるITシステムのせいで、全く政府の支援を受けていない人にもこれが起こった。だから、Deloitteのような会社が440kでレポートを受注して、それをAIを使って生成して、さらにエラーを増やすということが起こる。もしDeloitteを次にシステムを構築するために雇ったらどうなるか想像してみて。Fujitsu Royal Mailのスキャンダルが再び起こる未来が見えるよ。

想像する必要はないよ: https://cybernews.com/news/rhode-island-deloitte-data-breach...

タイトルの混乱があるね…オーストラリア政府のアルバニアの混乱じゃないよ、また「arrêter de vous trump'er svp」って感じ。