わーい！どんなときでも有意差を見つけられるフレンズなんだね！

「思ったように有意差が出なかったんですけどなにかこのデータから言えることはありませんか？」

「どんなデザインですか？」

「処置群・統制群，事前・事後，成果変数は1です」

「そうですね…まずは処置群を恣意的に何パターンかに分割してみましょう！そうするとそれぞれのグループの標本サイズが減るし検定が多重になるので，事前事後の得点差について第一種の過誤の可能性が高まります！まあ4-5グループに分割したら，有意水準を補正しない限りどこか有意になるでしょう！これが王道です」

「はい！」

「その後に，さもそのパターン自体に最初から興味があったように研究仮説自体を改定するのです！これはHARKingと呼ばれる有名な技法です！」

「先生，大変です！性別，学年，事前の得点，学校，恋人の有無，そういった変数で分けたグループでも，どこにも有意はありません！」

「安心してください！まだ手はあります！今度は事前と事後で伸びたひと，伸びなかったひとの数を，手持ちの2値のデモグラフィック変数すべての組み合わせについてカイ二乗検定を別々にするのです！別々にやるのが大事ですよ！」

「先生ぇ…どこも有意になりません」

「大丈夫！まだ手はあります！外れ値だとして，事後得点の下側のひとりずつを外していき，それぞれのステップで何度も検定をして，有意になったときにやめてそれを報告するのです！」

「先生ぇ…ダメですぅ」

「そうですか，ではまず10個のデモグラフィック変数をすべて投入してクラスタリングをしましょう。まずは階層的クラスタリングを何回も繰り返して，有意になる階層でやめましょう。それでダメならクラスタリング方法を変えましょう。それでダメなら，k-means法，それでダメなら混合分布モデル，それでダメならクラスタリングに入れるデモグラフィック変数を減らしていきましょう。方法や，入れる変数の組み合わせで考えると無数にパターンができますから，どこかで必ず第一種の過誤が起きるはずです」

「先生ぇ…どうしましょう」

「（まじかそろそろ有意水準いじろっかな…）いえ！まだまだ手はあります。そもそも成果変数はなんですか？」

「英語のテストの点です」

「そうですか。項目数は？」

「30です」

「よかった，では項目分析をして，弁別力がなかったり信頼性を下げたりする項目をひとつずつ減らしてその度毎に検定をするのです！そして有意になったらやめるのです。なあに，その項目はなかったことにするか，materialのところにテストの質の観点から予め外したと書けばいいのですよ！もうなんなら全項目別々に検定したっていいくらいだ！」

「先生，外していったら項目がなくなりました…」

「（おいまじかよ）こんなことは数学的に絶対無いはずですが…ううむ」

「わたしはもうダメでしょうか…」

「大丈夫です！その被験者にまた来てもらって新しくテストをやりましょう！遅延テストといえばいいのです」

「…それはできなさそうです」

「では，どんなデータでもいいから被験者について知っていることはありませんでしたか」

「ええと，実験ノートに実験中あくびをした人をメモっておきました。靴下の色もメモってますよ！」

「素晴らしいですね！そのあくびをした数人を外して分析すると？」

「あ！あ！先生！有意です！やっと有意になりました！先生ありがとうございます！私の研究に有意差がありました！」

「わーい！有意差だ！先生はどんなときでも有意差を見つけられる先生なんですね！」

「たーのし―！」

＊この記事はQRP（quetionable research practice）およびHARKing（研究仮説の改定），そして（本来するべきではない）事後的分析において無理に有意差を見出すことの悪質さについての理解を（私自身が）深めるために書いたものです。