ハクソク

世界を動かす技術を、日本語で。

ロッテン・トマトの統計分析

278日前原文(statsignificant.com)

概要

Rotten Tomatoesの「Certified Fresh」映画が急増している現象を分析。 Fandangoによる2016年の買収後、Tomatometerの平均スコアが上昇。 批評家の選定基準や集計方法の変化が要因。 映画業界とプラットフォームの利害関係の可能性。 短期的なスコア操作のリスクと映画体験の質の重要性。

Rotten Tomatoesの「Certified Fresh」映画急増の謎

  • 最近のホテル滞在中、 テレビCM で流れるほぼ全ての映画が Rotten Tomatoesの「Certified Fresh」 を強調
  • 5日間のCM視聴で、「全ての映画が高評価」という 異常な傾向 に疑念
  • 可能性1： 人類が駄作を作らなくなった という楽観的仮説
  • 可能性2： Rotten Tomatoesの仕組みが変化 したという現実的な仮説

Rotten Tomatoesの仕組みと影響力

  • Rotten Tomatoesは 1998年設立、当初はJackie Chan映画のレビュー集約が目的
  • すぐに全映画をカバーするプラットフォームへ拡大
  • Tomatometerスコア は「肯定的」レビューの割合で決定
  • 60%以上で「Fresh」、未満で「Rotten」とラベリング
  • シンプルな集計方法 が一般消費者の信頼を獲得
  • アメリカ人の3分の1 が映画鑑賞前にTomatometerを参照

スコア上昇の背景とFandango買収

  • Tomatometerの平均スコア は過去10年で上昇傾向
  • 2016年のFandangoによる買収 とスコア上昇が一致
  • Fandangoは 全米最大の映画チケット販売プラットフォーム、NBCUniversalとWarner Bros. Discoveryが一部所有
  • 利益相反の可能性 が浮上

批評家スコアと観客スコアの乖離

  • 批評家スコアと観客スコア は通常強い相関
  • 2016年以降、両者の 乖離が顕著 に
  • Tomatometerの急上昇 と同時期に発生

Tomatometer操作の方法

  • Rotten Tomatoesが調整できる要素
    • レビューを「Fresh」か「Rotten」か分類
    • どの批評家のレビューを集計対象にするか
  • 「Fresh」の定義変更は批評家からの反発リスク
  • 批評家プールの拡大 がより現実的な調整手段

新規批評家の増加とその質

  • 買収後、 1作品あたりの批評家数が40～70人増加
  • 新規追加された批評家の多くは 無名メディア や 個人ブログ
  • サイトの 「Top Critic」 ラベルはTomatometerの計算には影響しない
  • Rotten Tomatoesは多様性向上を理由に挙げるが、 新規批評家の質や影響 は不透明

映画業界によるTomatometer活用と操作

  • PR会社が小規模メディアの批評家を積極的に勧誘 する事例
  • 公開前に「Fresh」認定を確保 し、マーケティングに利用
  • Tomatometerの操作可能性 が高まる背景

短期的操作と長期的リスク

  • スコア操作による一時的な集客効果 は期待できる
  • 長期的には 映画体験の質向上 が重要
  • 信頼性低下は プラットフォーム自体の価値毀損 につながるリスク

結論：映画業界とRotten Tomatoesの今後

  • Rotten Tomatoesは 業界にとって影響力の大きい指標
  • 短期的なスコア操作 は業界維持のための方便
  • 長期的視点では誠実な評価と体験価値 が不可欠
  • 「Certified Fresh」の基準自体が変質している現状

データ分析やリサーチ支援の案内 Stat Significantでは、

  • パフォーマンス改善のためのインサイト抽出
  • アクションにつながるダッシュボード構築
  • データパイプラインやレポート自動化 などを支援。 相談はdaniel@statsignificant.comまで。

Hackerたちの意見

昔、映画館に行ってた頃、パンデミック前で家族ができる前の話だけど、メタクリティックを使ってたんだ。赤い評価の映画に行くと、絶対後悔してたし、ひどかった。黄色は当たり外れがあって、緑の高得点は結構良かったかな。例外として、コメディは低いスコアでも面白い映画があるし、政治系の映画はメディアに認められたメッセージがあれば、たとえクソ映画でも高得点がつくことがある。信頼できる指標がないのは悲しいね。昔のスコアを復活させて「バッドアップルズ」って呼べばいいのに。実際のスコアは透明性があるんだから、競合を開発してもいいんじゃない？

└

映画館はまだあるから、戻った方がいいよ。俺は月に2、3回行ってる。子供が4歳以上なら、すごく楽しめると思うよ。外に出るのは良いことだし、健康にもいいからね！

└

いくつかのジャンルは、批評家の指標とはうまく合わないことがあるよね。

お世辞レビューが増えても、3/5がフレッシュっていうのは、個人的にはかなり中途半端な基準だと思う。映画が「100%フレッシュ」って言われるのは、全てのレビュアーが「特別じゃないけど、まあまあ、3つ星」って言ってるだけだから、誤解されやすいよね。

└

そうだね。ピクサーの映画はだいたい100%に近いよね。IMDbの評価はもっと現実的だと思う。

└

平均評価が3だと、ばらつきが0じゃないと100%フレッシュにはならないよね。

└

うん、パーソナライズされたトマトメーターがあったらいいな。4つ星（8/10）以上の作品じゃないとベッドから出ないから、そういう評価をした観客やレビュアーの割合を知りたい。これがあれば、「カルトクラシック」や、好き嫌いが分かれる面白い/クリエイティブな映画が、最近のぬるいマーベル作品よりも評価でちょっと優位に立てると思うんだ。

└

正しく読み取れば、指標としてはいいと思う。100%っていうのは、その映画が観客にすごく受け入れられていることを意味する。大作の場合、実際には特に大胆だったり面白かったりする要素が欠けていることもある。これが、Frost/NixonやKnives Outが、Mulholland DriveやThere Will Be Bloodのような広く称賛されている映画よりも高い評価を受ける理由になったりする。僕は、特に好きじゃなくても、家族と一緒に見るならどっちを選ぶかは分かるけどね。でも、何十年も経ってもまだこれを理解できない人が多いのは驚きだよ。

みんなが一つの数字に注目するのは面白いよね（その数字を導き出す方法の長所と短所は関係なく）。RTは「トップ」レビュアーのレビューを一か所にまとめてくれるから、すごく便利だと思う。年々、自分の興味が特定のレビュアーの好みとどう一致するかがわかるし、いろんな場所を見なくても意見の概要がつかめるからね。

自分は地元の独立系映画館に通ってるよ。たまにすごく感動することもあるし、映画がつまらないこともあるけど、いつも3〜4本の選択肢しかないから、決めやすいんだ。少なくともビールは出してくれるしね。

自分はIMDbのスコアだけを頼りにしてるけど、映画の公開からある程度時間が経てば、まだ信頼できるよ。平均が6以上の映画はだいたい楽しめるし、6未満は見る価値がないかな。7以上はだいたい良作で、8以上は傑作だね。

└

完全に同意。レビューサイトがまだ解決できていないのは、テレビ番組のユーザースコアを調整して、映画よりもそんなに高くならないようにする方法だよね。

サンプリングできる指標はたくさんあるし、正規化にはいろんな課題があるよね。例えば、https://ext.to/browse/?sort=seeds&order=desc&cat=1&q=2019 は2019年の映画トレントをシード数でランク付けしたリストだよ。正規化の課題は、トレントのバリエーション（1080pや720p、WEB-DL、BluRayなど）をグループ化して、時間をかけてさまざまな映画への関心を集計してランク付けすること。明らかに、2019年の中国のアニメ映画「ネザ」は、その年のグローバルな海賊映画のスターだったけど、母国の人口で「バイアス」を平準化するために「正規化」すべきなのかな？年ごとに映画をランク付けし、海賊版を考慮する利点の一つは、「持続力」の実用的な指標を提供することだね。https://ext.to/browse/?sort=seeds&order=desc&cat=1&q=1964 の「マイ・フェア・レディ」、「博士の異常な愛情」、「ルドルフ 赤鼻のトナカイ」、「メリー・ポピンズ」、「荒野の用心棒」、「ゴールドフィンガー」は、リリースから60年経った今でもまだ人気があるよ。* https://www.themoviedb.org/movie/615453 * https://www.rottentomatoes.com/m/ne_zha

このレビュアーの急増に対応するために、Rotten Tomatoesは「トップクリティック」という称号を設けたんだ。これは、ニューヨークタイムズやアトランティックのような確立されたメディアに限定されてる。ただ、このラベルは映画のトマトメーターのスコアには特に影響しないし、サイトの付随的な部分に組み込まれてるだけなんだ。昨夜、批評家レビューの2つのパーセンテージスコアにアクセスできることに気づいたよ。「https://www.rottentomatoes.com/m/the_dilemma」に行って、批評家レビューのパーセンテージ（25%）をクリックすると、オールクリティックスコア（25%）とトップクリティックスコア（28%）のどちらを見るか選べるポップアップが出てくるんだ。（もしNetflixで楽しそうなライトコメディを選ぶ前にRotten Tomatoesをチェックしてたら、無駄に1時間を浪費せずに済んだのに、WTFって思ってRTを確認して、ずっと気分が悪かったままだった。）ちなみに、動画ストリーミングサービスのUIにトマトメーターのスコアを統合してほしいな。サービスは自分たちのすごく甘いスコアを使いたがるみたいだけど。（スコアを表示すること自体少ないしね。新しい番組の評価を抑えることで、自分たちの悪い番組が視聴者に見られる前に評価を下げないようにしてるんだろう。）でも、Rotten Tomatoesはストリーミングサービスのスコアよりも、どれくらいその番組を楽しめるかの予測がずっと正確なんだ。多分、ストリーミングサービスは、今提供されている映画やシリーズの大半が平凡から悪いものまでの範囲だってことを隠したいんだろうね。

└

Plexを使って映画を選んでるんだけど、トマトスコアとIMDbスコアが映画の説明に載ってるんだ。

└

でも、多分ストリーミングサービスは、今提供されている映画やシリーズの大半が平凡から悪いものまでの範囲だってことを隠したいんだろうね。そんな文に「今」は必要ないよ。すべての時代のメディア制作は大体ひどいから。80年代、70年代、60年代の音楽が良かったわけじゃなくて、今聞く80年代の音楽は良いものだけが厳選されてるだけなんだ。ストリーミングが悪化させたように見えるけど、実際にはもっと多くのものを見てるからなんだよ。昔は映画を見るのに手間がかかった。映画館に行くか、ビデオショップに行く必要があった。テレビに来る頃には厳選されていたし、少なくとも知っていた。直接ビデオに行くような駄作もたくさんあったし、映画館やテレビには出てこなかった。（1989年、放送テレビのない場所に1年住んでた。地元のブロックバスターみたいな店から毎晩2本のビデオを見てたけど、ひどい映画がたくさんあったよ。ストリーミングサービスが平凡なコンテンツを提供することを非難するのは、根本的な原因を見逃してる。ほとんどの新しいコンテンツは平凡か、悪い。昔からそうだった。ストリーミングは見るのを簡単にするだけなんだ。）

└

大手ストリーミングプラットフォーム向けのRotten Tomatoesのライセンスは、年間何百万ドルもかかるだろうね。https://www.reddit.com/r/webdev/comments/4649rw/comment/d03a...

RTのスコアはすごく正確だと思うけど、生のスコアはそうでもないんだ。70%のスコアは俺には意味がない。映画のジャンル、観客スコア、映画の年齢を知りたいんだ。それから、自分の頭の中で「ルックアップテーブル」を作る感じ。15年間RTで見た映画を調べてきたから、そのスコアが自分の意見とどう関連してるか分かるんだ。例えば、著者は批評家スコアは観客スコアと一致すべきだと言ってたけど、それは全然違うよ。批評家はプロットの連続性や深さ、細部にこだわるけど、観客は楽しさを重視するんだ。どちらも俺にとっては大事だから、いつも両方のスコアを見る。だから、すごく面白いコメディが批評家スコア60-69%で、観客スコア90%-100%になることが多いんだ。だって、めちゃくちゃ面白いけど、プロットは全然意味がなくて、穴だらけだからね。そして、批評家スコア95%で観客スコア70%のコメディを見ると、考えさせられるし、よくできてるけど、たまにクスッと笑える程度だと思っておいた方がいいよ。

└

Rings of Powerが批評家スコア84%なのに、観客スコアが49%なのはずっと不思議だった。

└

批評家は政治的な agenda を持ってて、「メッセージ」のある映画を過大評価するんだ。そのメッセージはいつもカリフォルニア寄り。映画産業は巨大なセクターで、ロビー活動があって、金をもらってる批評家もそれに慣れてる。兄弟が言うように、観客は映画を見るためにお金を払う。観客、つまり人々はもっと政治的にバランスが取れてる。偏見や選択はない：それは民主的な要素で、「イン」のロビーが嫌がる人たちも含まれてる。もしこのクソみたいな観客を排除できたらいいのに！

└

Plexでは、RT（IMDBも）からの批評家と観客のスコアが両方見れるんだけど、確かに君が言う通り、いつもズレてるよね。一般的に、僕は観客のスコアをもっと信頼してる。映画を見るときは楽しむことが大事だから、ストーリーやペース、映像技術を分析するよりもね。観客は楽しむ方法を知ってるから、そこは信頼できるよ。批評家と観客のスコアの違いは、特に80年代や90年代のキャンプやB級ホラー映画がどれだけ楽しめるかを判断するのに役立つ信号でもあるんだ。

└

Rotten Tomatoesは、判決ではなくツールとして扱うと、ずっと役立つようになるよ。

└

僕は予想外で、既存のジャンルにうまく収まらない映画を楽しむことが多いけど、そういう映画は観客の評価が低くなる傾向があると思う。期待に応える映画は、たとえランダムに選ばれた観客の大半が嫌いでも、評価が良くなるんだよね。コメディ映画で、赤い大きな文字と白い背景のポスターがあれば、人々はそれが特定のタイプの映画だって分かるし、そういう映画を楽しむ人たちが見に行くことが多い。同様に、ニッチな興味に関するドキュメンタリーも、見に行く人はその興味があるからこそ探し出して見るんだ。

└

最初のグラフを見たとき、20年間の自分の映画体験とは逆の関係にあるなって思った。もしかしたら、「スコアを正規化する」ブラウザ拡張のアイデアがあるかも。

└

もっと良い映画を選ぶためのインサイトをいくつか教えてほしいな、ありがとう！それに、こういうインサイトを基にした面白いRTブラウザを作れる人がいると思う。

└

それに、独特な魅力を持っている映画もあって、ニッチな観客には愛されるけど、批評家や一般の観客には厳しく評価されることが多いんだ。実際、他人の意見が自分の映画の好みを反映するかどうかは分からないし、たとえそれが腐敗してなくて独立していてもね。

└

残念ながら、評価カテゴリーが「批評家」と「観客」だけで、「プロット」や「ユーモア」、「キャラクター」、「サスペンス」じゃないのがね…。

└

あなたが興味を持ちそうなことは、シリーズもの、映画やテレビの続編とかかな。時々、全シリーズを愛する熱心なファンがいて、続編や後のシーズンが高評価だけど、あなたが楽しめないこともあるよね。私の例だと、「A Discovery of Witches」っていうテレビ番組が全体的に評判がいいけど、私は全然楽しめなかった。もしかしたら本を読んだら好きになるかもしれないけど、私にとってはワクワク感や興味、エンタメ価値が全くない空虚な番組だった。

人類は悪いアートを生み出すのをやめた: 一世紀の試行錯誤を経て、人類は映画の芸術を完璧にした。最近の傑作、例えば『キャッツ』や『スペース・ジャム: ニュー・レガシー』、実写版『白雪姫』、『レッド・ワン』、そして『ジョーカー: フォリー・ア・デュー』がその証拠だ。かつては人間の創造性を批判することに喜びを見出していた批評家たちも、今やこの映画制作の黄金時代を楽しみ、ウォルト・ディズニー・カンパニーやワーナー・ブラザーズ・ディスカバリーの時代を超えた芸術性を称賛している。これ、プロの映画レビューに載せるべきだよね。

IMDbの方がRTよりいいと思う。RTは観客スコアがあるけど、批評家のスコアを優先しがちだよね。大体、批評家の意見って何かしら影響力があるのは分かるし。IMDbのスコアは特定のグループに依存せず、全ユーザーの評価だからね。アメリカのユーザーにちょっと重みを置いてるかもしれないけど、それはそれでいいと思う。トップの映画やテレビ番組は、RTとは違ってずっと納得できるものが多いよ。

└

ちょっと関連するけど、KaggleのデータセットやNetflixのコンペからユーザーを特定することができるんだって。https://medium.com/@EmiLabsTech/data-privacy-the-netflix-pri... 医療記録の例と比べると、Netflixはユーザーを特定できるようなデータ、例えば郵便番号や誕生日、もちろん名前や個人IDなどを追加しないようにかなり気を使ってたんだ。でも、リリースから数週間後に、別の博士課程の学生であるArvind Narayananが、彼と彼の指導教官Vitaly ShmatikovがNetflixのデータセット内のユニークIDを、IMDBサイトの映画評価という別の公開データセットと照合することで、実際の人々に結びつけることができたって発表したんだ。https://www.cs.utexas.edu/~shmat/shmat_oak08netflix.pdf https://courses.csail.mit.edu/6.857/2018/project/Archie-Gers...

└

同意する。数年前からRTのスコアには頼らなくなったよ。観客スコアが自分の好みと合わないことはかなり少なくなった。今は批評家たちと味や好みが全然違って、まるで別の星に住んでるみたい。