草薙の研究ログ

英語教育関係。でも最近は統計(特にR)ネタが中心。

効果量では見えない指導の効果(6):分位点回帰

1. これまでのおさらい

前回は,事前-事後の成績の比較について,

(1)効果量には,相関を考慮するものと,しないものがある

(2)いずれにせよ,事前-事後の比較では,平均差,標準偏差だけではなく,相関係数(r)や分散比(F)が重要になる場合もある

 

詳しくはこちら~

kusanagi.hatenablog.jp

(一部誤っていたところを直しました,ご指摘くださった方ありがとうございました)

 

今回はこれをちょっと掘り下げてみる。

 

とくに,(2)について,もう一回ちょっと見てみる。

まずはおさらい。

 

仮に平均差と標準偏差が固定されても,つまり,標準化平均差と呼ばれるもの(の一部)の値が一緒だとしても,「(統計的な意味での)効果が同等だとしても」,相関係数や分散比の影響によって,(実質的,実務的な観点のもとにおける)処遇の結果(treatment outcome)の振る舞いが同一になるとは限らない。

これは相関係数をのぞいては,ある程度繰り返しのないデータでも同様。

 

詳しくは実験群のばらつきと測定の精度分布の歪み

 

このことを端的に一枚の絵で描くならこう。

 

f:id:kusanagik:20150318122343p:plain

 

ここでのrはもちろん相関係数ね。相関係数が高ければ高いほど,順位の入れ替えも少ない。それに伸び幅が均質。もちろん,相関係数が高ければ標準化平均差に属する効果量(dとか⊿とか)がより信用できる。逆に低ければ,標準化平均差が高くても点数が下がってしまったひと,またはその逆のひとも増える。たとえば,上段はすべて標準化平均差系の効果量は一緒だけれども,最左では処遇により成績が下がったひとがいる。右にいくにつれ,そういうひとはすくなくなる。

これは,別に実務的な観点のもとで,つねに事前ー事後の間の相関係数が高いほうがよい,ということを意味しない。たとえば,目標規準準拠で評価し,実施上文法シラバスという文脈で,特定の文法項目(過去形)の定着を具体的な目標とするときに,未修のpre,既習のpostでデータをとったとする。このようなときには,事前-事後間で高い相関係数が期待できない(またはするべきでない)場合がある。

一方,読解力だとか,語彙サイズだとか,一般的に集団基準準拠のスケールであらわされるような,そして熟達度の構成技能とされるようなものは,ある程度の相関係数があってしかるべき。むしろ,相関係数が低ければ,異なる構成概念を測定しているようにも見えてしまう。なので,これも,あくまで,場合によって,という話。

分散比は,高ければ高いほど,事後でばらつきが大きくなってしまったということ,ばらつきが事後で大きくなってしまうと,仮に標準化平均差が大きくても,個々のケースを見ると大きく下がったひと(または全然あがらなかったひと)がいるかもしれない。もちろん,すごく伸びた人もいるということだけれども。ある特定の場面においては(弱めにいっている),処遇の結果として,ばらつきが狭まくなることをよしとしてもいい。標準化平均差と,このようなばらつきを同時に加味するためには,統制群のMとSDをもって実験群における個々の成績を標準化し,そのスケール上で予測区間の下限をもとめ,その値を(a)そのままz得点,(b)標準正規分布N(0, 1)における分位点,(c)偏差値であらわしたりするとよいかも。

 

2. ごちゃごちゃ…正直めんどくさい

さて。

各種の標準化平均差(dや⊿)だけでなく,ばらつきや分布の歪みについての配慮,相関係数と分散比の検討などもまた重要だ!と,これまで浅学な駄弁を弄してきてわけだけど,はっきりいっていろいろな数値を引き合いに出すのって面倒くさい。もちろん,なにか一つの指標だけで複雑な現象に関わる意思決定の材料にしようなんてこと自体に無理があるのは,もちろん百も承知だし,それでも実務的にはうまくいってんだ!というのもあるかもしれない。

でも,繰り返しの場合は,上記のうちのほとんどをカバーする方法があるかもしれない。分位点回帰がわたしたちの役に立ちそう!

3. 分位点回帰ってなに?

分位点回帰(quantile regression)は,線形回帰分析の一種。でも,通常の回帰分析が平均値を対象としているのに対して(散布図における回帰直線がそれぞれのケースの真ん中あたりを通っていく),分位点回帰は任意の分位点(厳密にはパーセンタイル)を対象とする。もちろん,同じデータのさまざまな分位点に対して分析をしてもよい(同時分析)。

えっとね,詳しくはいろいろあるのだけど,

 

wikiの記事もわるくないし,

Quantile regression - Wikipedia, the free encyclopedia

 

日本語で読める論文もある。

石黒先生(2013)

CiNii 論文 -  社会心理学データに対する分位点回帰分析の適用 : ネットワーク・サイズを例として

 

Language Testingにも紹介記事が出てた。

Principles of quantile regression and an application

 

Rでやるとすると,quantregっていうパッケージがあって,

もちろん,基本はlmみたいに使える。あとは,tauってところにパーセンタイルいれてやればいいのね。簡単。

http://cran.r-project.org/web/packages/quantreg/quantreg.pdf

 

もちろん,本もあるよ!

 

Quantile Regression: Theory and Applications (Wiley Series in Probability and Statistics)

Quantile Regression: Theory and Applications (Wiley Series in Probability and Statistics)

 

 

Quantile Regression (Econometric Society Monographs)

Quantile Regression (Econometric Society Monographs)

 

 

Quantile Regression (Quantitative Applications in the Social Sciences)

Quantile Regression (Quantitative Applications in the Social Sciences)

 

 

分位点回帰がいいのは,通常の平均の回帰分析よりも制約(e.g., 正規分布)がすくないっていうだけでなくて,意思決定にたいして,より柔軟な方策となりえるってこと。

研究上の観点のもとだって,かならずしも,わたしたちは平均値にだけ興味があるわけでない。むしろ,最小値や最大値や,やや成績が振るわない層だとかに興味があるときだってある。こういうときに分位点回帰はよさそう。

それに何度も何度もしつこく述べているように,教育実践やその実務的な観点では,平均値よりも下の点が,すくなくとも「意思決定の重心になる場合」だって多い(もちろん上の点もありうる)。

もちろん,事前の成績から事後の成績における平均値を予測してもいいけど(従来の方法を妨げるものではない),分位点回帰をもちいてメディアンを予測してもいいし,95%点や5%点を予測してもいい。さらに,95%を予測するときと5%を予測するときの変数の影響の強さくらべたっていいってこと。従来の方法による実践を妨げるものではない。

さらに分位点回帰を事前-事後の比較に応用すると,これまで述べてきたような要素(特に相関係数や分散比)が処遇の成果におよぼしている影響をある程度,数量的に統合して把握できる。相関係数がこうだからー,分散比がこうだからー,そもそも正規分布がー,とかごちゃごちゃいうよりもはるかにいい。一元的に理解できる。

4. 事前-事後の比較で分位点回帰

まず第一に,そもそも回帰分析なんだから,予測ができるのがいい。

そもそも,処遇の結果といった複雑なことをスカラーであらわすのには無理があるんだ。でも,ベクトルや,関数だったらいける。

たとえば,こういうデータ。

 

事前-事後で平均値が6と10,SD がそれぞれ2ずつ。

分散共分散行列なら(4, 2, 2, 4)としよう。なので相関係数は.50。

まずこれまで通り,事前の成績を標準化(z得点化)して,事後の成績も事前の成績を参照して標準化(比較標準化)する(しなくてもいいけど)。

よし,これで散布図を描こう。

 

f:id:kusanagik:20150318150502p:plain

 

標準偏差の2倍の平均差があるから,まあ(相関を考慮しない)効果量で考えると効果量は2ってかんじ。事後の平均値が標準化平均差をあらわしている(⊿ = 2)。

繰り返しのないときと同様に,ここで事後の成績の95%予測区間の下限をもとめてもいい。

そうすると,事前からみて,事後の最低レベルの成績がどこに位置づけられるかがわかる。これも線で描いてみよう。よし。赤い線がそう。z得点の上だと,およそ0くらい。偏差値なら50,比較分位点(とりあえずこういうように呼ぼう,標準正規分布上の点)なら50%ね,つまりちょうど事前の平均値が下限。

なので,おおざっぱには,処遇を受けたら,事前の平均が事後の最低ラインってこと。 

f:id:kusanagik:20150318150935p:plain

でも,これって,もちろんだけど,対応ありのデータなので,相関係数があるんだよね。相関係数はこれは.50くらいで,散布図を見ると事前が高い人ほど事後でも高い点をとっているだから,全体的な予測(意思決定)としては単変量の予測区間の下限(赤線)があってもいいけど,情報量が足りない。

(事前が既知のときに)「誰がどの程度以上の点を取りそうか」とか,「上位群ならまあ保守的に見積もって(95%点に位置するレベルでも)どれほど伸びるか」とかがわからない。

ここで,分位点回帰をしてみたらいい。

仮に5%点(つまり上位から並べて95%のあたり)を予測して,その回帰直線を加えてみる。青い線がそう。ここより左上に注目したらいい。

f:id:kusanagik:20150318151814p:plain

 

式はだいたい post = 0.54 × pre + 0.60。

これにpreを入れれば,だいたい上から95%には入るくらいのケースの成績を予測できる。たとえば,preで0なら(preの平均のひとくらいなら),切片なので0.60が上から95%点ってこと。0.60より上に95%の人が入りそうってこと。

これは事前を元に標準化したz得点なので,この予測した値を標準正規分布で%に戻すなり,偏差値にするなりするとより解釈しやすい。大体,preの真ん中くらいの点は,事前でいうと上位27%に相当するので,事後において事前で平均値くらいのひとのうち,95%くらいのひとは事前における上位27%よりも,よい成績を出すだろうってかんじ。効果量のようなスカラーじゃなくて,関数だとこういう考えかたが柔軟にできる。

分位点は5%でなくても,任意の点でいい。10%でもいいし,25%,75%でも,自分の都合で自由に考えてもいい。

(ただ,わたし自身は,教育実践とその実務では,指導法や教材,プログラムの選択についてやや保守的な判断をすることが多いし,そうであるべきな面もあると思っている)

 

分位点回帰はさらに,相関係数が異なるとき,分散比が異なるときにも敏感に対応できる。

細かいことは置いといて,こんな感じ。先に相関係数。

 

f:id:kusanagik:20150318152325p:plain

 

次に分散比。こんな感じ。

 

f:id:kusanagik:20150318152949p:plain

 

こんなかんじで,分位点回帰は,標準化平均差に類する効果量だけでは検討できない情報を,いっきにもってきてくれる。

さらに分位点回帰は分布の歪みにも強い

 

5 まとめ

だから,さまざまな平均の束縛から解き放たれて,ときと場合に応じて,もっともっと自由に明日の授業を考えられたらいい

「効果量大」と報告された教育実践の陰で,報告者の目すらもひかずに,実は成績が下がった一定のひとたちや,逆に効果量がみられないという理由で,出版バイアスなどに押しつぶされ,最終的に陽の目をみなかった実践において,実は成績が一気に伸びた人たち―そういうひとたちに思いを馳せることができない理由が,単純に分析法の普及状況だったりしたら,それはそれはすごく悲しいこと

ただでさえ,効果量,効果量,といわれる今だから,効果量だけじゃ見えないことにも十分な気を配りたい

 

(続く,次は実例編)