【サドコマ】英語教育の統計関係の査読で困ったときに

このシリーズについて
私の動機
- 英語教育研究の現状認識
- 個人的な動機といきさつ
取り上げるトピック
現在公開中の記事

このシリーズについて

　このシリーズでは，英語教育研究でしばしば問題になる統計処理のあり方について私見を述べます。後で詳しく書きますが，毎週1本程度，「英語教育研究の統計関係に関して査読で困ったら読む記事」という体裁でカジュアルな統計記事を定期的にアップしていきたいと思います。略してサドコマです。現在のところ10回のシリーズものとして計画しています。（ということで自分自身にペースを課しています）
　想定する読者さまは，査読者として，統計関係の評価に悩んでいる方と，投稿者として，査読者対応に悩んでいる方の両方です。内容は，あくまでも，私，草薙個人の私見によります。一研究者としての知見の陳述としてのみ，責任を持つ所存です。私の所属先や，私が所属する学会の見解ではないことに留意してください。
　記事については，統計学全般における規範というよりは，英語教育研究に固有な事情や現状と機能についての側面を優先して書いています。なので，私がこの一連の記事で述べることは，統計学，特に心理学，社会学，医療などで規範とされる統計分析と一部異なります。他分野の方に読んでいただいても，参考程度になるかどうかもわかりません。この記事の読者の大半が英語教育研究者ではないことも留意しています。
　また，ある具体的な論文を落とすべきか採択にすべきかといった観点にも立ち入りません。それはあまりにも文脈依存的です。むしろ，査読においてどうやりとりすべきか，そしてどのような改善ができるか，またはできないか，について書いています。

私の動機

英語教育研究の現状認識

　英語教育研究は非常に学際的な分野であり，様々な他分野の影響を受けて成立しています。そのため，他分野の研究方法と新しい技術の取り入れに対して非常に積極的です。一方で，分野全体の前提となるべき確固たる基盤がないため，研究方法論に関する共通認識が得られにくい状況です。
　そのもっとも典型的な例が，査読のやりとりにあらわれます。主に，統計解析やデータ分析について，査読者と投稿者の間に共通認識が成立しないため，査読のやりとり自体がまったくもって不毛になる場合があります。これは査読者や投稿者がもつ能力の欠乏を意味するものではなく，あくまでも，上記のように，顕著な学際性をもつ応用分野であるゆえ，分野全体において共通認識が得られにくいためであると考えています。
　より具体的にいえば，2010年代以降，日本の英語教育研究では，研究方法論に関する関心が高まり，統計改革といわれる一連の運動が広まりを見せました。従来より流行していた統計的帰無仮説検定のあり方には疑義の目が集まって「従来の統計的帰無仮説検定は望ましいものではなかったのではないか」という反省的な機運もあります。
　しかし統計改革後，規範的な代替として示される数々の新しい解析技術は，控えめにいっても，英語教育研究において十分に普及しませんでした。つまり，現在，統計解析やデータ分析について，いわば「2010年代以前に確立しつつあった一種のスタンダードはよくないものと認識されているが，具体的な代替案には見当がつかない」といった慢性的な状況にあると私は考えます。英語教育研究を担う教員養成や研究者養成のあり方とも無関係ではありません。実際のところ，この点を取り扱う確固たるカリキュラムがない状態なんです。

個人的な動機といきさつ

　査読の話に戻ると，私はここ数年に亘り，年間数十件以上の頻度で「査読者から，その統計の仕方は悪いといわれたけども，代わりにどうしたらよいかわからない」といった投稿者の相談を受けてきました。被査読者から見ると，一方的にダメ出しをされて，しかし代替案は示されてない状況です。一方，それよりも遥かに比率は少ないですが，「現在査読中のこの論文のこの統計について正直判断がつかないから，草薙の意見を知りたい」という相談を受けます。つまり，査読者から見ても，いいのか悪いのかもわからないという状況です。
　私がここ5年くらいの経験で気づいたことは，面白いことに，かなりトピックが限定的だということでした。相談の95%は，10個くらいにトピックに集約できるのじゃないかと。しかもその殆どのトピックは，統計的帰無仮説検定と多変量解析に関係しており，そして投稿者や査読者の研究能力というよりは，そもそもの手法的限界と英語教育研究に根ざす根本的な問題に由来するものでした。これがこの一連の記事の動機です。
　ところで，私は，「変態だ」「倒錯している」または「外れ値だ」と周りから窘められるくらい，若手時代の多くの時間を研究方法論に費やしてしまいました。怪我の功名で，その点に関しての多少の専門性は認めてもらっています。ですが，私はやはり若かったので，年齢相応にとても傲慢でした。「英語教育研究の質が低いのは研究者の程度が低いからだ」という観点を信じていました。研究者が自己研鑽すれば，統計に関する問題などはまったく起きないはずだと。より優れた，正しい規範が示されれば，自然にそのような問題は発生しなくなるとタカをくくっていたのです。自己研鑽が大事だと思った自分は，これが今年の新しい数理モデルだと聞けば，そのモデルを習得し，このプログラミング言語が流行ると聞けばそれに時間を掛けました。そんな新しいものを人に伝えると勝手によくなるのではないかと。しかし，そんなことで根本的な問題は解決しませんでした。トレンド系のセレクトショップのバイヤー気取りだったのです。
　トレンドのおっかけでなくて，より現実的な意味において，多くの英語教育研究者が，自分の関心と情熱をもって，普通の研究方法によって普通に研究を進め，それが結実するプロセス自体がより大事だと思うようになりました。これは，私に対して統計の相談に来られる方の目を見てある気づきを得たからです。みなさん，とても困った顔をされているんですよ。相談者には確かに必要最低限の研究の訓練を受けられていない方も多いです。しかし，誰一人として自分の労力を惜しむために私に相談している人はいませんでした。彼ら彼女らの真剣さを見て，私は，私の変態と評されるくだらない研究なんかよりも，私に相談をされる方の研究が実を結ぶほうが社会的な価値をもつのではないかと思うようになりました。もしよかったら，あまり社会との接点がない私ですから，サポートの形でなにか関わりを持てないか，と思ったのです。特に，こういう時期ですしね。

取り上げるトピック

　というわけで，次回からは，具体的に以下のようなトピックについて記事を書いていきます（実は半分くらいはもう書き終わってます）。週1，週末公開の予定です。公開されていない週は，草薙が締め切りに追われているのだと優しく察してください。あと，私になにかの締め切りを課されていて，かつ，私の仕事が遅れている場合でも，「なんだ，くにちゃん，余裕あるじゃん」とか思わないでくださいね。私のエフォート配分というよりは，生存確認の機能もここで兼ねたいと思っています。いつものグデグデとした厭世的で，悲観的で，神経病質な文体を好んでくださっている少数の方（そしていつも励ましとお叱りの手紙をくださる方）にも申し訳ございません。ここでは真面目に，上品に，真剣に丁寧体で書きます。またあまりテクニカルに書くつもりもありません。ただ，想定する読者はあくまでも査読を受けたりしたりする研究者ですから，layman's termだけを使用するわけではありません。そういう意味で入門的ではありません。

　さて，具体的な取り上げる予定のトピックは以下の通りです。