「このようなこと」とは、A/Bテストを実施すること全般を指している。正しく行わないなら、A/B / MVTテストを実施する理由は全くないよ。

A/Bテストは、マイクロ最適化を含む必要はないよ。うまくやれば、試すことのリスクやコストを減らせるからね。例えば、フルプロダクト開発に投資する前にA/Bテストを行うことができるし。MLベースの改善（新しいランキングアルゴリズムとか）を進める時にも使いたいよね。これが、プロダクト開発の参考書の表紙にカバが描かれている理由だよ。A/Bテストは、ただ「一番お金をもらっている人の意見」に従うことに対して役立つんだ。実際はもっと複雑だけど、それは組織や政治の問題だね。

それは、結果の妥当性や、成果を改善するための変更に気を使っていると仮定した場合だよ。重要度が低い状況では注意の度合いが異なるかもしれないけど、どれだけ気にしているか自分に嘘をついてはいけない。

でも、実際には改善されていない可能性もあるよね。もう一つの理由として、ただ出荷することの重要性があると思う。スタートアップは常に動き続ける必要がある。みんなを忙しく保ち、成長が遅いとか高い離脱率について心配させないために、車輪を回し続ける必要がある。スタートアップにはたくさんの闘志が必要だよ。だから、負けを認めて悪い雰囲気に悩まされるよりは、出荷する方がいいかもしれない。

完全に同意する。スタートアップのサインアップフローは、医療研究と同じ厳密さを必要としないよ。製品のパッケージングに交通工学の基準も必要ない。リスクのレベルが全く違うからね。これについては何ページでも書けるし（何時間も話したことがある）、科学的な研究のマインドセットを採用することはA/Bテストにとって非常に制限的だと思う。帰無仮説テストの既存のバイアスを持つ必要はない。同時に、人々が適応する能力には感心するよ。A/Bテストに慣れた組織は、頭の中で多変量補正を始めるようになる。これを始める人には、最初からベイジアンでやることを勧めるよ。気づいていなくても、結局そこにたどり着くから。（人々は以前の証拠を考慮してp値を見るだろう）。0.05（または任意のベイジアンの同等物）は魔法の数字じゃない。デフォルトとしてはかなり高い。より厳しい科学（再現危機にないもの）は、デフォルトでずっと厳しい値を使っている。変更のコストと害のリスクに応じて必要な信頼度を調整するべきだ。テストの段階にいるなら、変更のコストはゼロかもしれない（コンテンツ）。本当に高いかもしれないし、ネットでマイナスかもしれない！でも、ほとんどの場合、スタートアップでは、影響力のある勝利を追求するべきで、p値が0.05未満になることが多いよ。これは言うのは簡単だけど、もっと信号を引き出す方法を考える時間を無駄にしないで。単に（ただ笑）製品を改善する変更をして、方法が重要でないようにすればいい。p=0.00001なら、この記事のどの補正よりも良い信号になるよ。最初から何か特別なことを選ぶなら（ベイジアン以外で）、いつでも有効な方法を選んで。あなたはすでにのぞき見をしているだろうし（そうあるべきだ）、データがそれを反映するようにしよう。

p=0.50に設定すれば解決できるかな？期待値を暗黙的じゃなくて明示的に示してみて。0.05は完全に恣意的だよ。もし50/50の確率で正しいと思えるなら、基準をもう少し緩くしてもいいんじゃない？

医療の文脈では、選択肢が「この特定の治療法を使うか、何もしない（つまり、既存の治療法を使う）」ってことが多いよね。もしどのウェブサイトのレイアウトがベストかの統計的に有意な結果が得られなかったら、スタートアップを畳むつもりの人っているのかな？「害を与えない」という別の言い方は、無結果は「今やってることを変える理由がない」ってことだよ。

我々はロケットを宇宙に打ち上げているわけじゃない。確かにほとんどの人はそうじゃないよね。だから、今やっていることやその影響を考慮するのはいいことだと思う。ただ、時にはその境界が明確じゃないこともあるよね。もし我々があまり重要でない結果に特化していないライブラリやフレームワークを設計したら、どの方針がより理にかなっているのかが分からなくなる。

間違ったらどうなるかって…ウィジェットが売れなくなる？それが成功と失敗の境目なら、ビジネスオーナーとしてはかなり重要だよね。 > 害を与えないようにして、正しい方向に進んでいるか確認して、もし誤ってポジティブな結果が出たら方向転換できると信じる。それは合理的で、たくさんの文脈では絶対にベストなアプローチだと思う。でも、それをA/Bテストと呼ぶのはやめてほしい、だってそうじゃないから。

ほとんどの会社は、間違ったら人の命が奪われるわけじゃない。確かにそうだけど、修正するのにはお金がかかるよね。「命がかかっているときだけ重要」や「厳しすぎる」というテーマは、ストローマンだと思う。リソースは限られてるから、時間やお金、人もね。リソースを無駄に使いたくないんだ。統計的推論は、リソースを無駄に使わないための情報を得る一つの方法だけど、君が指摘したように、統計的推論にもコストがかかる。推論に必要なデータを得るためにリソースを使わなきゃいけないし、他のコストもある。サンプルサイズ推定法を使って、十分なデータを得るためのコストを見積もることができる。ゴー/ノーゴーの意思決定では、間違った決定を下すコストが統計的推論のコストの少なくとも10倍以上じゃない限り、推論を行う価値はないと思う。別の理由で推論を行う価値があるかもしれないけど、それは範囲外の話だね。例えば、医療研究での統計的推論の一般的な使い方は、治療法の効果をプラセボと比較することだよ。その動機の一つは、治療法の開発にもっとリソースを投資するかどうかを決めるためであって、間違って効果があるとされる場合に人が死ぬからではない。 > 多くの企業は、テストに関しては、過剰に厳しいと言えるかもしれない。私の業界での経験は逆だよ。企業はデータ駆動の意思決定のアイデアが好きだけど、痛点を発見するんだ。彼らは、どれくらいの変化を検出したいのか（つまり、効果量）をある程度理解しているべきだし、テストを実行するために必要なデータ量を見積もるべきだよ（つまり、サンプルサイズ推定）。モデルの不適合、キャリブレーション、複数テストの修正など、他の問題も考慮しなきゃいけない。さらに、テストを実施してデータを収集し、結果を分析して内部のステークホルダーに伝えるためのインフラを整える必要もある。これらの痛点が、EppoやStatSigのような企業が存在する理由なんだ。A/Bテストは、開発者が期待するよりも高いタッチになることが多いよ。これらの問題のどれかを間違えると、「フレークなテスト」が生じることがあって、開発者はそれを嫌うんだ。特定の効果量に対して十分なサンプルサイズを集められないのは、かなり一般的な失敗パターンだよ。 > でも「厳密さを維持する」ために、6週間待ってから結果を出したら、最終的な数字はほぼ48時間の数字と同じだった。ここで「厳密さを維持する」とは具体的に何を意味するのか、正確には分からないよ。私が理解できる唯一の文脈は、君が使っていた手続きが、テストの名目設計基準、通常は名目の偽陽性率を満たすために、もっとデータが必要だったということだと思う。これは厳密さの問題じゃなくて、統計モデルと正確さの問題だよ。時には、異なる方法を使って、より多くの（または異なる）モデルの仮定を犠牲にして、少ないデータで済むこともある。テストの仮定を満たさないと、偽陽性率が上がることがある。それが重要かどうかは、本当に君次第だよ。 > 彼らの「のぞき見」とその後のテストの提案は好きだよ。投稿が提案しているのは、提案ではなく、逐次テストと呼ばれる頻度主義的統計推論の標準的なクラスだよ。ダニエル・ラケンスのオンライン教科書（https://lakens.github.io/statistical_inferences/）には、これらの方法について第10章で簡単に説明されていて、さらに参考文献も載っているよ。 > 我々はソフトウェアを出荷している。間違ったら変更できる。これは通常真実だよね。必要なリソースがあって、それをそのように使うことに同意している限り。 > 私の意見では、ここでの正しいフレーミングは、君のスタートアップは目標を達成するために必要なだけ厳密であるべきだということだと思う。この感情には同意するけど、君はここで厳密さと正確さを混同していると思う。 > もし目標が「すべてのテストで統計的有意」なら、確かに、間違ったら誰かが死ぬかもしれないように扱うべきだね。それは誤った同等性だと思う。アメリカ統計協会もp値について声明を出しているし（https://www.amstat.org/asa/files/pdfs/p-valuestatement.pdf）、そこには「科学的結論やビジネスまたは政策の決定は、p値が特定の閾値を超えるかどうかだけに基づくべきではない」と書かれているよ。 > でも、もし君の目標が「害を与えない、正しい方向に進んでいるか確認する、そして誤ってポジティブな結果が出た場合には方向転換できると信じる」なら、医療テストと同じ厳密さで扱う必要はないよね。もしそれが君の目標なら、ただ出荷すればいい。特に、君が主張するように、変更を元に戻したり、うまくいかなかった場合に方向転換するのが経済的に可能なら、テストの努力を正当化するのは意味がないと思う。

君の言いたいことは分かるし、過剰なテストもあるけど、全てのソフトウェアの品質の基準がひどいと思う。私たちはそれに慣れすぎて、普通になってしまった。でも、誰かがもっと品質に注意を払っていたら通さなかったバグにイライラしない日がないよ。ロケットのような厳密さの話じゃなくて、今の状態よりも高い基準が必要だと思う。（それに、エロンのロケットは次々と失敗しているし、NASAが60年代に達成したこととは対照的だから、そこからも学ぶべきことがあるよ。）

それは生死に関わる問題ではない、同意するけど、ある程度までね。スタートアップは資源が非常に限られていて、長期的に決定的でない結果を無視することは、成果を上げずに資源を使っていることになる。これをやりすぎると、資金が尽きてスタートアップが死んじゃうよ。著者は、企業がなぜこういうことをするのか（テスト結果を無視したり誤読したりする）については触れていないけど、理解不足を置いておいて、私がデータサイエンティストとして働いていた時の経験から言うと、いくつかの大きな理由に集約されるよ： - 正しいと思いたい。創業者は高い自信が必要で、「自分が正しい」と感じることが重要なんだ。でも、正しいと感じることは必ずしも正しいことを意味しないし、人は自分の信念に反する証拠を無視することが多いし、それを否定する理由を見つけることもある（そのことの皮肉は分かってるよ）； - 仕事を見せるプレッシャー：UIの再設計を何度もやる方が、「それは関係ない」と言うよりもパフォーマンス評価で良い。結果が決定的でなければ、何も示すものがないよりは害が少ないから、何かをやっていることで「自分の仕事が関係ない」という結論を先延ばしにしているんだ。だから、結果をBS的な解釈に変えて、もう少し時間を稼ごうとする。もう一つ十分に議論されていないのは、これらの決定的でない結果が適切に解釈された場合に何を意味するのか。決定的でないUI再設計実験が続くと、「UIは重要なのか？」という仮説が浮かぶべきだよね。でも、そういう質問は、そういうことを考えるのに最も適した人たちにとっては存在を脅かすものなんだ。もしどの企業もデータ駆動型で科学的であることを真剣に考えているなら、どこでもテストを要求し、質と厳密さに外部のコントロールを持ち、それを使って投資や撤退の戦略的決定を下すべきだよ。少なくとも、それを戦略の重要な一部として考えるべきだ。テストに基づいてすべてを行えるわけではないし、やるべきでもないけど、未来への賭けや新しいシナリオに関する仮説、テストするにはコストがかかりすぎるものもある。でも、一貫してテストを行い、テスト結果を分析することで、多くの労力とお金を節約できるかもしれない。

少なくとも1つがノイズである確率は1 – 0.95⁵ ≈ 23% そうだけど、君が言ってるほど大したことじゃないよ。通常、全か無かの問題じゃないからね。通常、勝ちは加算的だし。各勝者が本物である確率はまだ95%（pハッキングがないと仮定して）だから、その5つの中で期待される勝利数は0.95 * 5 = 4.75勝（期待の線形性による）で、これは良い勝率だよ。

あなたはデータの条件付け分析を説明しているね。GelmanとLoken（2013）はこう言っている：> 問題は、データ分析の詳細がデータに大きく依存している場合、潜在的な比較が多数存在する可能性があることで、研究者が意識的にフィッシングや複数のp値を調べる手続きを行わなくても済むということです。私たちは、データ分析の決定が以前の文献に基づいて理論的に動機づけられているが、データの選択と分析の詳細が事前に指定されておらず、その結果、データに依存しているいくつかの発表された論文の例を挙げて議論します。

これってひどいことなの？科学をやることが目的じゃないんだ。アイデアは、イノベーションをざっくりと体系化して概念化することなんだよ。選択肢を生み出して、失敗に耐えられるシステムを作ることが目的なんだ。改善の余地はあると思うけど、これは有効な実験か無効な実験かってことじゃないんだよね。

私が見たA/Bテストの中で、ANOVAについて言及しているものはほんのわずかだし、実験デザインについて真剣に考えているものも少ない。p値の理解も一般的に乏しいし、エンジニアリングやビジネスの学位での確率・統計教育は、最も軽視されている数学の一種だと思う。厳密さよりもスピードを優先したい場所でも、少なくとも考え方を変えて、p値よりも効果量を重視した方がいいと思う。若いスタートアップとして「収益を10倍にするようなことをしないといけない」って視点から見て、限界効果が「統計的に有意かどうか」を待つのは無駄だよ。

この種のランキングも正しくないよ。結果を比較しないといけない、p値じゃなくてね。p値でランク付けするのは馬鹿げているし、平均指標でランク付けするのも馬鹿げている。スタートアップは一般的に、高いシグナルで意思決定をしなきゃいけないから、1%の改善を100回してp=0.05だと、そんなノイズの多い環境では実際には効果が出るなんて幻想だよ。スタートアップでこんな馬鹿げたことをするのは、ただの儀式みたいなもので、長期的には、複合的な指標を最適化していると感じる人には役立つかもしれないけど、実際には何も実現しないんだ。

これ！医療の現場でもよく見かけるよ。

あなたの発言と著者の発言の違いについて詳しく教えてもらえる？