草薙の研究ログ

英語の先生をやってます。

効果量・信頼区間の大げさな解釈または単純に変なことを言わない態度

「効果量がよい」と聞きかじれば,標本効果量をさも母効果量かのように扱って,いきりたって報告し,さらに取りうるだろう効果量の大きさに対して,完全に不適切に設定された標本サイズ下における検定を自らおこなって,そしてその検定のinsignificanceを無視した上で,標本効果量のみによって豪快に論を繰り広げて。「効果ありまぁす!」。

「信頼区間を報告するのがよい」と聞けば,「母数はこの範囲ですドヤア」みたいな。区間推定における下限値と上限値自体もそれぞれ,「手持ちの標本から得た点推定値」に他ならないのに。たとえば,どうだろう,95CI [.82, .93]と自分で記しておきながら,標本を1ケース抜いたときに,[.83 .94]になったら母数の取りうる範囲が全体的に上にそれだけ変化したのか?

…というようなことをセミナーなりワークショップを依頼していただくときや,質問を受けた時や,後輩などに話すのだけど,これに関してスゴい適切な言い方を見つけた。もっともシンプルでちから強い。

 

南風原(2014)のp. 61より。

特に標本が小さいときには,信頼区間の上下の限界値,したがって信頼区間全体が大きく変動しますので,得られた信頼区間を固定的に考えて,「母数の値はこの範囲」と決めつけてしまうのは問題です。あくまでも,「今回の結果と整合的な母数の値はこの範囲」ということです。 

 うむ。