本当は効果が全くないときに標本の効果量が任意の値以上を超える確率
変な話だけど,研究者にとって,実験をして得る標本効果量の期待値を最大化する方法はないけど,標本効果量が任意の値x以上を取る確率を最大化する最も合理的な方法はある。標本サイズを小さくすること。
母標準化平均差が0であるとき,たとえば,4人対4人という2群について標準化平均差を求める。大雑把な計算だけど,このときd > .8となる確率は,15%くらい。こんな感じで以下のような表を作った。
1群の人数 | 0.2以上 | 0.5以上 | 0.8以上 |
4人 | 39% | 26% | 15% |
8人 | 34% | 17% | 7% |
16人 | 28% | 8% | 1% |
32人 | 22% | 2% | 0% |
64人 | 14% | 0% | 0% |
128人 | 6% | 0% | 0% |
256人 | 1% | 0% | 0% |
もちろん,人数が少ない方が誤差が大きくなって,任意の値以上の標本効果量が出やすくなる。
…そんなに,「有意差はなかったけど効果量は小あった」といって「実質科学的な」議論をするのがお好みだったら,どんどん標本を小さくしたらお好みに沿う。標本が小さい方がそういう可能性はどんどん上がる。
…なんていっててもしょうがないので,ひとこと,
殊更小標本の効果量の点推定値を当て込んで大げさな議論をするのはやめましょう。
効果量の信頼区間も合わせて報告しましょう。
(「どうしたら大きい効果量が得られるんですか」というご質問を受けたことを思い出して)