草薙の研究ログ

英語教育関係。でも最近は統計(特にR)ネタが中心。

観測と解析どっちが大事かという話

観測が大事だというひと。

実験手法,実験方法,実験計画の精密さ,脅威要因を「事前に工夫して」排除する人,実験操作によって交絡変数の影響を取り除こうとする人。

そういう人にとっては,統計解析でデータをごまかすことは本質的ではない。

料理でいうなら,「素材が大事」だというのと同じ。

素材がとてもよいなら,味付けや切り方といった「料理の仕方」はあまり必要ではない。これは真実だ。なので,いい素材を手に入れること,つまりいい観測をすることは正当化されるべきだ。

外国語教育研究,第二言語習得ではどちらかと言うと解析ではなくて観測の重要性について強く認識されてきた。実験手法,観察技術の発展は,外国語教育研究の歴史の中で常に,解析技術の発展に先んじてきた。解析技術が重要視されるようになったのは,2000年代以降の多変量解析の導入,2010年度以降の統計改革の影響でしょう。

たとえば2000年代初頭では,t検定が適切にできていないのに,光トポグラフィを使った実験の書籍が公刊されている。このように,解析技術よりも観測技術の導入に熱心だった。

 

さて,一方,解析が重要だというひともいる。

交絡変数をどのようにして数学的に事後に取り除くか,測定誤差を別の変数から予測することによってどれだけ減らすか,実験計画でできないものをどのように事後的に補うか,見えないものをどのように測るか,私達の認識と実世界の関係は数学によってどのように表されるか。どれだけ生データに遜色ないデータを生成する数学的な機構を作るか。

料理でいうなら,「料理の仕方が重要」だというのと似ている。

料理の仕方が適切であるならば,素材が多少悪くてもなんとかなる場合もある。

と,まあいえなくもない。これもまた,印象の悪い言明であっても一種の真実だと思う。

 

ここで,大事なのは,解析技術を重要だというひとが「観測がどうでもいい」なんて思っていないことだ。解析技術を重要だとするひとは,「解析技術も」重要だと思っている。よい料理人がよい素材を欲しがるのと同じだ。よい素材によい料理をするのがいいに決まっている。よい素材に必要以上に料理するのは控えるべきだけど,よい料理は素材を引き立てる。

なので,はっきりいって,観測と解析は表裏一体であって,どちらかいいかとかそういう問題ではない。実験屋は統計屋を嫌い,統計屋が実験屋を嫌うなんて,シェフと喧嘩する取引先の農家のようなもんだ。

 

ただ,大事なのは認識論だ。

私達が対象にしているもの,分野が扱うもの,私達の仕事,そういう現実の中で,どれほどよい素材を取ることができるか?ということだ。

簡単にいえば,あらゆる制約の上で,外国語教育研究でどれほど信頼できる実験計画を実施できるか,とか。そしてそういう信頼できる実験のコストにどれほどのアカウンタビリティというか,もはや公共性が保たれるか,とか。

 

一方,CALLやICTによる学習ログ,標準テストの結果,アンケート結果,または大規模な社会調査,そういうデータ,こういうのははっきり言って実験屋にしてみれば,質の高い素材ではない。まず第一,デザインして取ったものとはいえない,こういう素材は嫌われる

でも,今日,上記のような「自然発生的な教育データ」は,ビッグデータ一歩手前の状態の規模まで来ている。しかしながら,こういうデータの活用法などの普及は全然追いついていかない(頑張れ!シラス先生!)。ひとことでいうと,インフラの発展によるデータ流通の変化

つまり,食の業界全体が,高級食材が手に入らなくなってきた(というよりもさして高級でないことが市井の人々に知れてきてしまって)。一方で低品質の食材が爆発的に普及していく,という流れになってきた。

 

次の流れはどうなるか目に見えている。高級食材がより高級に,少数の人々の間で取引されるようになり,低品質の食材がどんどん,どんどん,どんどん限界まで指数関数的に低コスト化していくこと。これをどうするか。

 

こういう状態で,観測が大事だとか,解析が大事だとか,そういう話じゃない,そういう業界全体の流れで次どうするかでしょ。