草薙の研究ログ

英語の先生をやってます。

(量的)進歩主義と(質的)回帰主義

(最近バカのひとつ覚えの要領で話すネタ)

(今年のCELESのワークショップ,LETのシンポ,全国英語教育学会のワークショップにお越しいただいた方,駄弁にお付き合いいただき,ありがとうございました)

 

1990年代前後から英語教育研究は欧米で流行していた第二言語習得などのテイストを取り入れ,大分基礎科学志向になった。基礎科学志向に転身して以降(第一次学際化)はずっと仮説検定,実験計画法,多変量解析が流行し,日本では(でも)このような研究プログラムが強いパブリケーション力と比べ物にならない生産性をもつようになった。

2010年前後,英語教育研究では一部の水本篤先生のような先見性の高い研究者が効果量,信頼区間,検定力などといった概念を輸入,普及に努めて,いち早く統計改革的な動きが見られるようになった。

…その後,メタ分析やそれに類似したレビューによって,これまでの20年弱の量的研究はそれほどではなかったんじゃないか,限界があったんじゃないか,それが来たんじゃないか,間違っていたんじゃないか,というような閉塞感・不安感がじわじわ業界に広がってきた。最初は,もともと量的研究にコミットしていない層が,

「それ見たことか!」みたいな感じになり,

これに合わせて社会情勢的にも,教育経済学,教育工学などがどんどん力を増し,誰がいうわけでもなく,

「英語教育研究はエビデンスない!(から従来の教育研究はシラネ)」

「金つぎ込んでデータサイエンスで教育を変えよう!(そして従来の教育研究はシラネ)」

みたいな風潮が見えるようになり,更に心理学の再現可能性問題,信用危機問題につられて,

「心理学でも再現可能性が問題になっているんだから…(ましてや従来の教育研究はシラネ)」

みたいな雰囲気に傾きつつある。

こういう動きとは別に,第二言語習得などを輸入して基礎科学志向に傾いていった10数年前の当初からあまりに教育の現状と乖離した学会のありさまに「理論と実践の統合」といったキーワードが語られるようになっていた。要は,もともと内在していた問題だ。

とにかく,こういう認識は急速に広まっていると学会に顔をだすたび感じている。

 

一方,このような「雰囲気」に対しての反応は2種類にきっぱりと別れる。

要は進歩主義回帰主義だ。

進歩主義は,簡単にいえば,「これまでの量的研究がイマイチだったなんて科学の発展が健全な証拠だ。むしろ反省してどんどん新しい高度な技術で乗り越えていくしかない」というような態度。こういう研究者はベイズベイズと合言葉のようにいう。

回帰主義は,簡単にいえば「そもそも我々の営為と関心,そして世界観,目的意識を考えなおさないか。数値で扱えるものだけが我々の世界じゃないし,研究は多元的でいい」というような感じだ。要は,質的研究法でもって,この状況を乗り越える,または英語教育研究の原点方向に回帰する。(50年弱前,英語教育学,という名前をつけ始めた最初の時代には,「英語教育学」はサイエンスをやるんじゃない,といった認識が強かった)

 

どっちがいいとかじゃない。

でも,ここで,明らかに道がわかれているのがわかる。気になるのは,また後ですぐ合流するのか,ここでお別れなのか,だ。

そして私は,まあ99%前者だろうなと思っている。

まあちょっと視野を大きく取ると,どんな分野にも同じような話がいつもあって,分離したり,別の分野と統合したり,または再度集結したりして。英語教育だけじゃないし。それが普通っていうか。

要は,なんでも,人間の所業ってのは,「捨てたもんじゃないな」と心が熱くなるくらいの輝きを持ちながら,それでいていつもの感じでちょっとだけ堕落しているんだ,それを時がなんでもいい塩梅に動かしていくだろう。

そんな中で我々が見えることといえば,「今日も鎖がギラギラと輝いているな」だとか「前のランナーのバトンの渡し方,新体操かなにかだと思っていねーか」だとか,そして「酔っ払っていなきゃやってられん世の中だ」とかそんなことだ。

 

 

2変量正規分布の片方の変数を平均でぶった切ってもう片方の変数の値の平均差を検討する?

 これ,どうやってご説明差し上げたらいいか迷ってたけど,説明用のグラフ用意した。

 

f:id:kusanagik:20160812202856p:plain

 

  • 当たり前だけど相関係数と密接な関係がある(なのであまり操作としてよくない)
  • 相関が十分に高いとき,それぞれ分割した変数の方は当然正規性が満たされなくなる(←これがあまりピンとこないよう)

 

学会でスライドをカメラでパシャパシャ問題

この前,猛暑の東京で学会があった。盛会でなによりでした。

ところで,この学会を通じて,参加者の先生方にはあることがお心に残られたと思う。

講演,シンポジウム,発表中にスライドを逐一撮影することはどうなのか,ということ。

 

確かにすごい頻度で目についたことだった。基調講演ではスライドが一枚変わるたびに一斉にパシャパシャ,シンポジウムでも,発表中でも。

私は公募シンポジウムと口頭発表をしたのだけど,私の登壇中にもパシャパシャがたまに聞こえた。口頭発表の方は,なんと動画を撮影なさっていた先生がいらっしゃったとのこと。確かに思い出せば,そんな先生もいらっしゃったような…。海外から呼んだような偉い先生じゃあるまいし,一声かけてくだされば,なにかご不明な点が残ったのであればマンツーマンでご説明さしあげるのに…。(私は一向に構いませんが)

いいこと/悪いことかは,それは学会の中で取り決めを持てばいいのだけど,なぜこういうようなことが起こったのだろう?

 

多分,第一の要因は,学会員のリテラシーが低い(要はググればわかるのに,とか)とかそういうことではなくて,近年の発表形態の変化だろう。

外国語教育では,といっても学会ごとに多少のスタイルは違うけれども,近年,印刷物の発表資料は用意せず,パワーポイントスライドのみで発表する件数が増えてきている(主に若手・中堅を中心として)。私は知らないのだけど,国際学会ではこういうスタイルが主流なのだそうだ。

なので,結局は発表に参加しても,手元にはなにも残らないため,手元に自分で用意したノートなどに書き溜めることになる。

プレゼンテーションにおけるスライドの利用法もだんだん変化を遂げ,昔とくらべて一枚にのせる情報量が圧倒的に少なくなってきている(そしてスライドの枚数がインフレ的に多くなってきており,必然的に一スライドあたりの投影時間も少なくなってきている)。これでは古典的な「ノートに書き写し」というような記録法は間に合わない

一方,モバイル・デバイスの普及はめまぐるしく,タブレットスマートフォンなどの保存領域も大容量化し,稼働時間も長くなってきている。このような状況で,カメラ,というか画像媒体での保存もどんどんしやすい状況になっている。画像ファイルの整理も格段にやりやすくなってきている。

こういう状況は,参加者間で比較的一律であるため,だれかひとりがそのような行動をして,それが目に付けば,指数的にそのような行動が拡散する。この学会はテクノロジーに強い先生が多いので,それも要因のひとつになるだろう。

 

なので,まとめると,主要因は「配布資料を配らないような発表形態になってきていること」こそが原因いうのが私の読み。

 

実際,何件か回ってみて,発表資料を配っている発表者の部屋ではパシャパシャがならないようだった。私のような10ページを越す冊子を配る発表者では,パシャパシャはゼロに近かった。ただし,動画を撮影なさる強者先生もいらっしゃったのはどうしたものか…。

 

私も,ちょっと前まで若さゆえで考えが足りない時期があったので,パワーポイントの投影資料だけを用意して,ネットで公開でもしていたらいいのでは,という考えをもって,そのような失礼な発表形態を何回もしてしまったこともある。

でも,これはやはりよくないと思う。講演やワークショップといった一般的で軽い話ならまだしも(むしろ長いため,スライド程度の情報量で良い場合もある),実際の特に実証的な口頭発表では,論文原稿か,それに近い状態までまとめた冊子(10ページ前後)の資料を渡すべきだと思う。

ネットで公開,というのは当然の動きだとも思うが,どちらかというとネットで公開すべきはそういったコミュニケーションが効かない生データや解析コードだと思う。冊子での生データ,解析コード,実験材料などをセットでネット上において公開しておき,発表資料を印刷して配るのがいいのじゃないだろうか。

私はそうするようにした。

 

協同学習・動機づけプロジェクト - 草薙邦広のページ

 

それに,スライドや発表資料をネットで公開するだけ,というのは手間だ。わざわざ発表に来てくださった方に,手間を押し付けているような気もする。また,実感としても,冊子型の発表資料をお渡しすると,質疑応答の質が目に見えて上がるような気がする。間違いなく誤解に基づく余計な質問はなくなる。

こういうように私が冊子型の発表資料を推すと,印刷のコストとか,資料を持ち運ぶのが重い,とおっしゃる方もいる。

しかし,たとえば(今回の私の発表資料の印刷費では)裏表12ページで60部でも7,200円(実際そうだった),どんなに頑張っても10,000円程度。学会後の二次会,三次会に10,000円以上サラッとお払いになる方がこの程度の経費をどう考えてらっしゃるかは私にわからない。重さはA4だと計算上,1.440グラム。ノートPCひとつくらいの重さだ。

 

…まあ,時代が変われば発表形態も変わるし,その間には間らしい問題もあって,という話。結局はどのようなコミュニケーションのあり方が学会にふさわしいか,を考えることが重要だと思う。パシャパシャはその表面的なことに過ぎない。多分。

 

観測と解析どっちが大事かという話

観測が大事だというひと。

実験手法,実験方法,実験計画の精密さ,脅威要因を「事前に工夫して」排除する人,実験操作によって交絡変数の影響を取り除こうとする人。

そういう人にとっては,統計解析でデータをごまかすことは本質的ではない。

料理でいうなら,「素材が大事」だというのと同じ。

素材がとてもよいなら,味付けや切り方といった「料理の仕方」はあまり必要ではない。これは真実だ。なので,いい素材を手に入れること,つまりいい観測をすることは正当化されるべきだ。

外国語教育研究,第二言語習得ではどちらかと言うと解析ではなくて観測の重要性について強く認識されてきた。実験手法,観察技術の発展は,外国語教育研究の歴史の中で常に,解析技術の発展に先んじてきた。解析技術が重要視されるようになったのは,2000年代以降の多変量解析の導入,2010年度以降の統計改革の影響でしょう。

たとえば2000年代初頭では,t検定が適切にできていないのに,光トポグラフィを使った実験の書籍が公刊されている。このように,解析技術よりも観測技術の導入に熱心だった。

 

さて,一方,解析が重要だというひともいる。

交絡変数をどのようにして数学的に事後に取り除くか,測定誤差を別の変数から予測することによってどれだけ減らすか,実験計画でできないものをどのように事後的に補うか,見えないものをどのように測るか,私達の認識と実世界の関係は数学によってどのように表されるか。どれだけ生データに遜色ないデータを生成する数学的な機構を作るか。

料理でいうなら,「料理の仕方が重要」だというのと似ている。

料理の仕方が適切であるならば,素材が多少悪くてもなんとかなる場合もある。

と,まあいえなくもない。これもまた,印象の悪い言明であっても一種の真実だと思う。

 

ここで,大事なのは,解析技術を重要だというひとが「観測がどうでもいい」なんて思っていないことだ。解析技術を重要だとするひとは,「解析技術も」重要だと思っている。よい料理人がよい素材を欲しがるのと同じだ。よい素材によい料理をするのがいいに決まっている。よい素材に必要以上に料理するのは控えるべきだけど,よい料理は素材を引き立てる。

なので,はっきりいって,観測と解析は表裏一体であって,どちらかいいかとかそういう問題ではない。実験屋は統計屋を嫌い,統計屋が実験屋を嫌うなんて,シェフと喧嘩する取引先の農家のようなもんだ。

 

ただ,大事なのは認識論だ。

私達が対象にしているもの,分野が扱うもの,私達の仕事,そういう現実の中で,どれほどよい素材を取ることができるか?ということだ。

簡単にいえば,あらゆる制約の上で,外国語教育研究でどれほど信頼できる実験計画を実施できるか,とか。そしてそういう信頼できる実験のコストにどれほどのアカウンタビリティというか,もはや公共性が保たれるか,とか。

 

一方,CALLやICTによる学習ログ,標準テストの結果,アンケート結果,または大規模な社会調査,そういうデータ,こういうのははっきり言って実験屋にしてみれば,質の高い素材ではない。まず第一,デザインして取ったものとはいえない,こういう素材は嫌われる

でも,今日,上記のような「自然発生的な教育データ」は,ビッグデータ一歩手前の状態の規模まで来ている。しかしながら,こういうデータの活用法などの普及は全然追いついていかない(頑張れ!シラス先生!)。ひとことでいうと,インフラの発展によるデータ流通の変化

つまり,食の業界全体が,高級食材が手に入らなくなってきた(というよりもさして高級でないことが市井の人々に知れてきてしまって)。一方で低品質の食材が爆発的に普及していく,という流れになってきた。

 

次の流れはどうなるか目に見えている。高級食材がより高級に,少数の人々の間で取引されるようになり,低品質の食材がどんどん,どんどん,どんどん限界まで指数関数的に低コスト化していくこと。これをどうするか。

 

こういう状態で,観測が大事だとか,解析が大事だとか,そういう話じゃない,そういう業界全体の流れで次どうするかでしょ。

女性の方が英語ができるって話を聞いた時に専門家の端くれとして返すべき一言

巷にあふれるこんな話。

  • 「女性の方がそもそもコミュニケーションが好きだから外国語もできる」(コミュニケーション意欲万能説)
  • 「大体子どもを見ていると女の子のほうが発達がはやいよ。だから外国語もそうだ」(母語獲得投影説)
  • 「英語は女性をエンパワーするから女性の方が(合理的選択として)英語をよく学習するし,だから結果として英語もできる」(エンパワーメント意識行動強化説)
  • 「女性の方が異文化に適用しやすいから言葉もそうだ」(文化適応力説)
  • 「女性のほうが,文法とかの間違いを気にしないから,どんどんスピード重視で話すからよく評価されるし,実際伸びる」(speed-accuracy tradeoff仲介説,拙論,草薙, 2016で実証的に否定)
  • 「古来,狩猟採集民(hunter-gatherer)であったとき,男性は集団で狩りに,女性は家で寝そべっておしゃべりしていた。だから女性の方が英語が得意なんだ」(進化論的なぜなぜ話)

こういう話を聞いた時,一応は専門家の端くれとしてどうしたらいいか。

おすすめ対応ランキング,第三位。

「真的(ジェンダ)吗?」

…はい。

 

第二位。

「そ,そうですねぇ(…俺はあんまそんな論文見たことないけどな)」

あんましつこいとこうなる。

 

第一位。

「巷でそういう風に言われるのもわかりますし,教師としてそういう直感をもつこともあると思います。しかし,そういうのってあんまり研究が進んでいなくて,はっきり言って科学的にはまだまだよくわからないことだらけなんですよ。少なくとも自分の生徒や学生には,そういう意識をこちらから押し付けたくはないですね」

これをテンプレにしたい。

 

それにこういうとき,多数派の性(生物学的な性と性自認が一致し,性志向が自分の性とは異なる人)のみで終わる話ではいけないとも思う。

 

 

 

外国語教育におけるアクセシビリティ関係の研究

今年の全国英語教育学会でアクセシビリティに関する研究が複数あるようだ。(勉強させてもらいにいきます)

学会運営側も,発表枠(分野)に「特支」という用語を振ったようだ。

 

自分自身も長いこと気になっているテーマなので,今後このような研究が増えることを望む。自分自身は,外国語教育研究におけるアクセシビリティとテクノロジーの関連に関連があるのだけど(いつか何か論文にできたらいいな)。

 

jasele42-saitama.jpn.org

 

そうそう。この学会では,私と早稲田大学の石井先生がベイズ統計とエデュケーショナルデータマイニングに関するワークショップをやらせていただきます。関心がおありの方はぜひ。

 

 

 

因子得点の計算方法っていろいろある

因子分析した後にそれぞれの因子についてその因子得点を求めるとき,実は因子得点にはいろいろな計算方法がある,っていうことが結構見逃されている気がする。

Rだったら,一番メジャーなのは,psychパッケージのfa関数。

これでやったあとにfactor.scores関数で出してくれるやつね。

これ,デフォルトはサーストンの(回帰的)方法ってやつね。王道で,別にこれで悪いってわけじゃないんだけど。まあ普通に因子得点といったらこれ。

サーストンってのはあの有名なサーストンね。

Louis Leon Thurstone - Wikipedia, the free encyclopedia

この関数では,他にも

  • tenBergeの方法(なにそれ知らない)
  • Andersonの方法(聞いたことはある)
  • Bertlettの方法(聞いたことはある)
  • Harmanの方法(知らない)

といったオプションから選べる。

 

R: Various ways to estimate factor scores for the factor...

 

もちろんSPSSもデフォルトがサーストン。オプションで選べるらしい。

内容的なのは,この論文に詳しい。

 

Understanding and Using Factor Scores:Considerations for the Applied Researcher

http://pareonline.net/pdf/v14n20.pdf

 

 

基本的にダブルローディングある項目がない単純な構造ならどれでもほとんど一緒だと思うんだけど。そんなこというなら,合計得点だって,本当にそういう状態ならほとんど変わらないんだけど。

 

サーストンが圧倒的に受け入れられていて,論文でわざわざ書かなくてもいいかもだけど,分析者がそんなの知らない!じゃ,研究者としての責任ないよなあ,って話。