効果量では見えない指導の効果（7）：外国語教育での実例（実験群―統制群）

今回は，実際の外国語教育研究での例をあげて考えてみる。

2種類ある。繰り返しなしの場合（NEGD，処置後における統制群と実験群の成績の比較）と対応ありの場合（NEGD，実験群の事前―事後の比較）。

今回は前者。

統制群と実験群の比較

例とする論文は，

Shintani, N. (2011). A comparison of the effects of comprehension-based and production-based instruction on the acquisition of vocabulary and grammar by young Japanese learners of English. PhD thesis, Aukland University.

博士論文。典型的な指導法効果の比較。

この論文（の一部分）はNEGD（不等集団計画）をもちいて，処遇の結果を検討している。

内容は，理解重視の指導（CBI）と産出重視の指導（PBI）の効果をさまざまな面（複数のテスト，語彙知識と複数形-sの知識×受容的側面と産出的側面）で検証するというもの。対象とした人や処遇の具体的な方法が重要なのだけど，ここではちょっと割愛。論文あたってください。

とにかく，盛りだくさんなのだけど（そしてそこがキーなのだけど），ここでは，とりあえず複数形-s，特に受容的側面のテスト（複数形の理解テスト）について見てみる。

まず，不等集団計画下の記述統計（下の図でまとめてある）。

そこから，⊿（効果量）と分散比をもとめる。

わたしがいいかもと思っている評価指標（とりあえず比較分位点と呼ぶ）ももとめてみる。

比較分位点は何度も書くけど，

①統制群の平均と標準偏差で実験群を標準化する（とりあえず比較標準化と呼ぶ）

②比較標準化された実験群の分布は N（⊿, F）になる

③比較標準化された実験群の未知のケースの95%予測区間の下限をもとめる

④この下限値の標準正規分布における分位点を1から引いたのが比較分位点（仮）

結果こうなる。

効果量（⊿）だけを比べると，理解重視の方の効果量が高いものの，どちらも通常大とよばれる数値以上（e.g., > 0.80）になっている。これだとあまり値を解釈できない

しかし，Fを比べるとかなり違う。理解重視の方が圧倒的に統制群よりばらつきが小さくなっている（もちろんF検定も有意）。

比較分位点を見ると理解重視は上位6%，産出重視は上位74%。効果の差は結構大きい。理解重視の方が下限が全然高い。

図で表すとこう。

黒が統制群，青が理解重視，赤が産出重視。

青と赤の効果量（⊿）は結構近いけど，ばらつきによって，２つの実験群のケースの予測区間の下限がぜんぜん違う。

理解重視を受けた人のほとんどはおそらく実験群の成績で上位6%以上に値する成績を取るだろうし，産出重視だと上位74%以上って感じ。

こういうことは⊿やほかの効果量（標準化平均差）だけじゃわからない。

しかしこれはすべて普通の記述統計から全部計算できる。

（でもこれは理解重視の指導が理解の課題に与えた影響なので，対象論文の主たる論ではないし，この部分の論には沿うものだというのは変わらない）

次は事前―事後の比較。