読者です 読者をやめる 読者になる 読者になる

草薙の研究ログ

英語教育関係。でも最近は統計(特にR)ネタが中心。

効果量では見えない指導の効果(7):外国語教育での実例(実験群―統制群)

統計 r 教育

今回は,実際の外国語教育研究での例をあげて考えてみる。

2種類ある。繰り返しなしの場合(NEGD,処置後における統制群と実験群の成績の比較)と対応ありの場合(NEGD,実験群の事前―事後の比較)。

今回は前者。

統制群と実験群の比較

例とする論文は,

Shintani, N. (2011). A comparison of the effects of comprehension-based and production-based instruction on the acquisition of vocabulary and grammar by young Japanese learners of English. PhD thesis, Aukland University.

 

博士論文。典型的な指導法効果の比較。

この論文(の一部分)はNEGD(不等集団計画)をもちいて,処遇の結果を検討している。

内容は,理解重視の指導(CBI)と産出重視の指導(PBI)の効果をさまざまな面(複数のテスト,語彙知識と複数形-sの知識×受容的側面と産出的側面)で検証するというもの。対象とした人や処遇の具体的な方法が重要なのだけど,ここではちょっと割愛。論文あたってください。

とにかく,盛りだくさんなのだけど(そしてそこがキーなのだけど),ここでは,とりあえず複数形-s,特に受容的側面のテスト(複数形の理解テスト)について見てみる。

まず,不等集団計画下の記述統計(下の図でまとめてある)。

そこから,⊿(効果量)と分散比をもとめる。

わたしがいいかもと思っている評価指標(とりあえず比較分位点と呼ぶ)ももとめてみる。

比較分位点は何度も書くけど,

①統制群の平均と標準偏差で実験群を標準化する(とりあえず比較標準化と呼ぶ)

②比較標準化された実験群の分布は N(⊿, F)になる

③比較標準化された実験群の未知のケースの95%予測区間の下限をもとめる

④この下限値の標準正規分布における分位点を1から引いたのが比較分位点(仮)

 

結果こうなる。

 

f:id:kusanagik:20150319164501p:plain

効果量(⊿)だけを比べると,理解重視の方の効果量が高いものの,どちらも通常大とよばれる数値以上(e.g., > 0.80)になっている。これだとあまり値を解釈できない

しかし,Fを比べるとかなり違う。理解重視の方が圧倒的に統制群よりばらつきが小さくなっている(もちろんF検定も有意)。

比較分位点を見ると理解重視は上位6%,産出重視は上位74%。効果の差は結構大きい。理解重視の方が下限が全然高い。

図で表すとこう。

f:id:kusanagik:20150319164754p:plain

黒が統制群,青が理解重視,赤が産出重視。

青と赤の効果量(⊿)は結構近いけど,ばらつきによって,2つの実験群のケースの予測区間の下限がぜんぜん違う。

理解重視を受けた人のほとんどはおそらく実験群の成績で上位6%以上に値する成績を取るだろうし,産出重視だと上位74%以上って感じ。

こういうことは⊿やほかの効果量(標準化平均差)だけじゃわからない。

しかしこれはすべて普通の記述統計から全部計算できる。

(でもこれは理解重視の指導が理解の課題に与えた影響なので,対象論文の主たる論ではないし,この部分の論には沿うものだというのは変わらない)

次は事前―事後の比較。