AIが面白い記事や重要な記事を、読みたくない感じにしてしまったらどうする？事実をクロスチェックすることもなく、AIがどれだけ間違っていたかも気づかないよ。

または https://rawdiary.com

Kagi Newsには賛成だし、Particle Newsも良かったけど、The Atlanticから資金を受け入れたことで、資金提供元の記事が「特集記事」に位置付けられるのが明らかになって、バイアスの明確さが曖昧になってる。Particle Newsにはそのためのいいグラフィックインジケーターがあるけど、プロモーションされた特集記事の下では見たことない。確かに他の資金提供元にも当てはまるけど、The Atlanticのはかなり最近のことだった。

どうやって事実を確認するの？現地に行って地元の人にインタビューするの？それとも、いろんな分野の科学論文を読んで、ニュースソースが発表した要約を検証するの？結局、誰かが真実を言ってるって信じるしかないよね。

Geminiはツール呼び出しがひどくて、3.0ではそれを修正することに重点を置くって広く言われてるよ。

検索にはいいかもしれないけど、提供されたリンクをクリックして、実際にその内容が書いてあるか確認しないとダメだよ。

でもLLMは何も集められないよ。最も可能性の高い文字を並べることしかできない。何を期待してたの？

なんでニュースサイト（またはいくつかのニュースサイト）に行って、彼らが書いた見出しを読む代わりに、ジェミニにこれをやらせたいの？

どのバージョンのGeminiを使ってたの？つまり、API経由でローカルに呼び出してたのか、それともGeminiやAI Studioのウェブアプリを使ってたのかってこと。全てのLLMアプリがデフォルトでウェブやニュース検索機能にアクセスできるわけじゃないから、結果に大きな違いが出るよね。もちろん、AIはウェブやニュース検索にアクセスできないことを理解してるべきだし、フェイクリンクを作り出すんじゃなくて、そのことをちゃんと教えてほしいよね。もしウェブ検索にアクセスできる設定になってて、それでもちゃんと検索できなかったら、それも問題だよね。

それはちょっと怖い考えだね。彼らはただ思考をアウトソーシングしているだけじゃなくて、自分たちの武器の中で唯一それを代替できるツールを積極的に台無しにしているんだ。自分でも感じたことがある。最近、明確な編集履歴のないドキュメントを見ていて、AIにそれを入力して編集履歴を生成させようと思ったけど、時間がなくてやらなかった。もしやっていたら、完璧に受け入れられる編集履歴が生成されて、実際にどんな変更があったのかがわからなくなっていたかもしれない。今のように知識が欠けているだけじゃなくて、逆に知識を得ていたかもしれない。

もしこれが本当なら重要なことだけど、実際は違うんだ。私は毎日ずっと営業ミーティングをやってて、会議の後に要約を送ってくれるAIノートテイカーをいくつか試してみたけど、CRMに入ってきたときにざっと見ると、ほとんどいつもかなり正確だよ。だって、私がその会議にいたから確認できるし。

私たちは数ヶ月間、会議でMS Copilotを使ってるけど、誰が何を言ったか、誰がどんな成果物を持ってるかをまとめるのがすごく上手なんだ。めっちゃ便利で、かなり正確だと思うよ。

それに（衝撃的なことに）ウィキペディアを引用してBBCを引用してない。いや…問題は、存在しないウィキペディアの記事を引用してることだ。 > ChatGPTが「2040年のEU拡大目標」に関する存在しないウィキペディアの記事にリンクしてた。実際、その名前の公式なEU政策は存在しないんだ。返答はURLを妄想してるけど、間接的にEUの目標や政策も妄想してる。

BBCを引用するのが良いソースだとは言えないな。外国のニュースに関しては、BBCは明らかに偏ってるし。でも、LLMが代わりに引用すべき良い提案は特にないな。

引用問題は、https://www.bbc.co.uk/robots.txt が多くのAI、ユーザーエージェントやクローラーを拒否していることに関連してるのかな？

確かに存在してたけど削除された: https://en.wikipedia.org/wiki/Wikipedia:Articles_for_deletio... それをチェックしないのはかなりの見落としで、意図的にやったんじゃないかと思っちゃう。

それってただのLLMの話なの？社会として、能力なんてあんまり重要じゃないってずっと前に決めたと思ってたんだけど。じゃなきゃ、5年生レベルも読めない人に高校の卒業証書を渡す理由がないよね？英語が下手な人にオフショアのコールセンターの仕事を与えるのも変だし。

LLMに懐疑的な人たちが、こういう研究の詳細をちゃんと読んでるのか気になるな。単に自分の先入観を確認するために反射的にアップボートしてるだけなのかも。このメディアブランドは、脅かされてるか、単に無能なだけのヒットピースだと思う。あるいはその両方かも。

そのエヴァンジェリストたちの中で、ハイプが収まったら崩壊するようなダサいAIスタートアップを持ってる人がどれくらいいるのかな（あるいは、彼らの後を追ってると賢く感じるソフトウェアエンジニアとか）。テクノロジー業界で本当に気になるのは、「やってみるまでわからない」っていう文化がこんなに広がってしまったことだね。

ある程度同意するけど、多くの人が議論をニュースメディアの批判とか別の方向にシフトさせてる気がする。でも、この研究はちょっと疑わしいね。実際の学術研究を読む人にはすぐにわかることだと思う。なんで有料のIpsosの研究がこんなに低い基準で評価されて、IEEEの査読付き論文と比べてしまうのか理解できないよ。この手の研究には、最低限でも使用したモデルのバリエーションや、情報検索を測るR@kリコール数、要約の正確さを測るBLEUやROUGEみたいな指標が必要だと思う。もしこれが分野自体にとって無意味なら、外部の人にとってどう役立つのか全く理解できない。

私たちはポスト真実の社会に生きてる。つまり、残念ながら、ほとんどの人が言ってることが本当かどうかは関係ないって学んでしまったってこと。重要なのは、あなたの言葉があなた自身やあなたの主張に力を与えることだけなんだ。

これに関連してなんだけど、私たちはGoogle Meetを使って会議をしていて、Gemini Notesの機能を全体で使えるようにしてるんだ。先週気づいたんだけど、生成される要約ノートがすごくポジティブな内容になってて、ちょっと批判的な会議の後に振り返るにはほとんど役に立たないんだよね。話し合われたポジティブな点にしか焦点を当ててないみたいで、少なくとも私にはそう見える。

私の経験では、良いモデルと弱いモデルの間には大きな違いがあるよ。最近読んだ長い記事を使って簡単にテストしてみたんだけど、https://www.lawfaremedia.org/article/anna--lindsey-halligan-... 実行したコマンドは curl -s https://r.jina.ai/https://www.lawfaremedia.org/article/anna-... | cb | ai -m gpt-5-mini summarize this article in one paragraph だった。r.jina.aiはテキストをマークダウン形式で引っ張ってきて、cbはそれをコードフェンスで囲んで、aiは私自身のLLM CLI https://github.com/david-crespo/llm-cliだよ。どれもかなり良いと思うけど、6セントでSonnetをこの目的で使うのはちょっと高すぎるかな。各ケースで推論はデフォルト設定だったと思う。つまり、gpt-5 miniは推論をしていなかったけど、他の2つはしていたってことだね。GPT-5の1段落: https://gist.github.com/david-crespo/f2df300ca519c336f9e1953... GPT-5の3段落: https://gist.github.com/david-crespo/d68f1afaeafdb68771f5103... GPT-5 miniの1段落: https://gist.github.com/david-crespo/32512515acc4832f47c3a90... GPT-5 miniの3段落: https://gist.github.com/david-crespo/ed68f09cb70821cffccbf6c... Sonnet 4.5の1段落: https://gist.github.com/david-crespo/e565a82d38699a5bdea4411... Sonnet 4.5の3段落: https://gist.github.com/david-crespo/2207d8efcc97d754b7d9bf4...

軽量のオープンソースモデルやミニモデルを使うと、ほとんどこれが当てはまることが多いよ。Sonnet-4.5やOpus-4.1、GPT-5-Thinkingなどの最先端モデルでは、めったに問題にならないけどね。でも、それは高いから、企業はコストを抑えて早く進めるために安価なモデルや存在しないTTCを使ってるんだ。