「このようなこと」とは、A/Bテストを実施すること全般を指している。正しく行わないなら、A/B / MVTテストを実施する理由は全くないよ。

A/Bテストは、マイクロ最適化を含む必要はないよ。うまくやれば、試すことのリスクやコストを減らせるからね。例えば、フルプロダクト開発に投資する前にA/Bテストを行うことができるし。MLベースの改善（新しいランキングアルゴリズムとか）を進める時にも使いたいよね。これが、プロダクト開発の参考書の表紙にカバが描かれている理由だよ。A/Bテストは、ただ「一番お金をもらっている人の意見」に従うことに対して役立つんだ。実際はもっと複雑だけど、それは組織や政治の問題だね。

それは、結果の妥当性や、成果を改善するための変更に気を使っていると仮定した場合だよ。重要度が低い状況では注意の度合いが異なるかもしれないけど、どれだけ気にしているか自分に嘘をついてはいけない。

でも、実際には改善されていない可能性もあるよね。もう一つの理由として、ただ出荷することの重要性があると思う。スタートアップは常に動き続ける必要がある。みんなを忙しく保ち、成長が遅いとか高い離脱率について心配させないために、車輪を回し続ける必要がある。スタートアップにはたくさんの闘志が必要だよ。だから、負けを認めて悪い雰囲気に悩まされるよりは、出荷する方がいいかもしれない。

完全に同意する。スタートアップのサインアップフローは、医療研究と同じ厳密さを必要としないよ。製品のパッケージングに交通工学の基準も必要ない。リスクのレベルが全く違うからね。これについては何ページでも書けるし（何時間も話したことがある）、科学的な研究のマインドセットを採用することはA/Bテストにとって非常に制限的だと思う。帰無仮説テストの既存のバイアスを持つ必要はない。同時に、人々が適応する能力には感心するよ。A/Bテストに慣れた組織は、頭の中で多変量補正を始めるようになる。これを始める人には、最初からベイジアンでやることを勧めるよ。気づいていなくても、結局そこにたどり着くから。（人々は以前の証拠を考慮してp値を見るだろう）。0.05（または任意のベイジアンの同等物）は魔法の数字じゃない。デフォルトとしてはかなり高い。より厳しい科学（再現危機にないもの）は、デフォルトでずっと厳しい値を使っている。変更のコストと害のリスクに応じて必要な信頼度を調整するべきだ。テストの段階にいるなら、変更のコストはゼロかもしれない（コンテンツ）。本当に高いかもしれないし、ネットでマイナスかもしれない！でも、ほとんどの場合、スタートアップでは、影響力のある勝利を追求するべきで、p値が0.05未満になることが多いよ。これは言うのは簡単だけど、もっと信号を引き出す方法を考える時間を無駄にしないで。単に（ただ笑）製品を改善する変更をして、方法が重要でないようにすればいい。p=0.00001なら、この記事のどの補正よりも良い信号になるよ。最初から何か特別なことを選ぶなら（ベイジアン以外で）、いつでも有効な方法を選んで。あなたはすでにのぞき見をしているだろうし（そうあるべきだ）、データがそれを反映するようにしよう。

p=0.50に設定すれば解決できるかな？期待値を暗黙的じゃなくて明示的に示してみて。0.05は完全に恣意的だよ。もし50/50の確率で正しいと思えるなら、基準をもう少し緩くしてもいいんじゃない？

医療の文脈では、選択肢が「この特定の治療法を使うか、何もしない（つまり、既存の治療法を使う）」ってことが多いよね。もしどのウェブサイトのレイアウトがベストかの統計的に有意な結果が得られなかったら、スタートアップを畳むつもりの人っているのかな？「害を与えない」という別の言い方は、無結果は「今やってることを変える理由がない」ってことだよ。

我々はロケットを宇宙に打ち上げているわけじゃない。確かにほとんどの人はそうじゃないよね。だから、今やっていることやその影響を考慮するのはいいことだと思う。ただ、時にはその境界が明確じゃないこともあるよね。もし我々があまり重要でない結果に特化していないライブラリやフレームワークを設計したら、どの方針がより理にかなっているのかが分からなくなる。

間違ったらどうなるかって…ウィジェットが売れなくなる？それが成功と失敗の境目なら、ビジネスオーナーとしてはかなり重要だよね。 > 害を与えないようにして、正しい方向に進んでいるか確認して、もし誤ってポジティブな結果が出たら方向転換できると信じる。それは合理的で、たくさんの文脈では絶対にベストなアプローチだと思う。でも、それをA/Bテストと呼ぶのはやめてほしい、だってそうじゃないから。

ほとんどの会社は、間違ったら人の命が奪われるわけじゃない。確かにそうだけど、修正するのにはお金がかかるよね。「命がかかっているときだけ重要」や「厳しすぎる」というテーマは、ストローマンだと思う。リソースは限られてるから、時間やお金、人もね。リソースを無駄に使いたくないんだ。統計的推論は、リソースを無駄に使わないための情報を得る一つの方法だけど、君が指摘したように、統計的推論にもコストがかかる。推論に必要なデータを得るためにリソースを使わなきゃいけないし、他のコストもある。サンプルサイズ推定法を使って、十分なデータを得るためのコストを見積もることができる。ゴー/ノーゴーの意思決定では、間違った決定を下すコストが統計的推論のコストの少なくとも10倍以上じゃない限り、推論を行う価値はないと思う。別の理由で推論を行う価値があるかもしれないけど、それは範囲外の話だね。例えば、医療研究での統計的推論の一般的な使い方は、治療法の効果をプラセボと比較することだよ。その動機の一つは、治療法の開発にもっとリソースを投資するかどうかを決めるためであって、間違って効果があるとされる場合に人が死ぬからではない。 > 多くの企業は、テストに関しては、過剰に厳しいと言えるかもしれない。私の業界での経験は逆だよ。企業はデータ駆動の意思決定のアイデアが好きだけど、痛点を発見するんだ。彼らは、どれくらいの変化を検出したいのか（つまり、効果量）をある程度理解しているべきだし、テストを実行するために必要なデータ量を見積もるべきだよ（つまり、サンプルサイズ推定）。モデルの不適合、キャリブレーション、複数テストの修正など、他の問題も考慮しなきゃいけない。さらに、テストを実施してデータを収集し、結果を分析して内部のステークホルダーに伝えるためのインフラを整える必要もある。これらの痛点が、EppoやStatSigのような企業が存在する理由なんだ。A/Bテストは、開発者が期待するよりも高いタッチになることが多いよ。これらの問題のどれかを間違えると、「フレークなテスト」が生じることがあって、開発者はそれを嫌うんだ。特定の効果量に対して十分なサンプルサイズを集められないのは、かなり一般的な失敗パターンだよ。 > でも「厳密さを維持する」ために、6週間待ってから結果を出したら、最終的な数字はほぼ48時間の数字と同じだった。ここで「厳密さを維持する」とは具体的に何を意味するのか、正確には分からないよ。私が理解できる唯一の文脈は、君が使っていた手続きが、テストの名目設計基準、通常は名目の偽陽性率を満たすために、もっとデータが必要だったということだと思う。これは厳密さの問題じゃなくて、統計モデルと正確さの問題だよ。時には、異なる方法を使って、より多くの（または異なる）モデルの仮定を犠牲にして、少ないデータで済むこともある。テストの仮定を満たさないと、偽陽性率が上がることがある。それが重要かどうかは、本当に君次第だよ。 > 彼らの「のぞき見」とその後のテストの提案は好きだよ。投稿が提案しているのは、提案ではなく、逐次テストと呼ばれる頻度主義的統計推論の標準的なクラスだよ。ダニエル・ラケンスのオンライン教科書（https://lakens.github.io/statistical_inferences/）には、これらの方法について第10章で簡単に説明されていて、さらに参考文献も載っているよ。 > 我々はソフトウェアを出荷している。間違ったら変更できる。これは通常真実だよね。必要なリソースがあって、それをそのように使うことに同意している限り。 > 私の意見では、ここでの正しいフレーミングは、君のスタートアップは目標を達成するために必要なだけ厳密であるべきだということだと思う。この感情には同意するけど、君はここで厳密さと正確さを混同していると思う。 > もし目標が「すべてのテストで統計的有意」なら、確かに、間違ったら誰かが死ぬかもしれないように扱うべきだね。それは誤った同等性だと思う。アメリカ統計協会もp値について声明を出しているし（https://www.amstat.org/asa/files/pdfs/p-valuestatement.pdf）、そこには「科学的結論やビジネスまたは政策の決定は、p値が特定の閾値を超えるかどうかだけに基づくべきではない」と書かれているよ。 > でも、もし君の目標が「害を与えない、正しい方向に進んでいるか確認する、そして誤ってポジティブな結果が出た場合には方向転換できると信じる」なら、医療テストと同じ厳密さで扱う必要はないよね。もしそれが君の目標なら、ただ出荷すればいい。特に、君が主張するように、変更を元に戻したり、うまくいかなかった場合に方向転換するのが経済的に可能なら、テストの努力を正当化するのは意味がないと思う。