【サドコマ⑦】まったくわからない統計が査読に回ってきたwww【査読者の責任】

　英語教育研究の査読で困った！サドコマシリーズ第７弾！シェアしてくださると嬉しいです！

　このシリーズについては↓
kusanagi.hatenablog.jp

　このシリーズは，統計処理のTIPSや入門というよりも，査読時における両サイドのコミュニケーションについて扱っており，今回はその中でももっともコミュニケーションに関係が深い内容になります。
　さて！査読をしているとき，査読を引き受けたものの，まったく馴染みのない統計方法が使用されていて困った！または逆に，投稿者側として，査読者が自分が使った統計に関してまったく知らない様子ままで査読されたようだ…という経験がある方は多いかと思います。

　というわけで，第７弾は査読者の責任について私見を述べます。

　＊あくまでもこの記事は英語教育研究を前提にした草薙の私見であり，他分野，または統計学全般の規範とは異なる場合があります。

　結論を先にいうと，査読において統計ないし手法上の観点で判断できないとき，メタ査読者に対して，「わからない」ということをありのまま告げることです。

問題の所在
原則
考えておきたいこと
サドコマシリーズ10箇条

問題の所在

まずは研究者自体が多様

　英語教育研究（といっても，このブログの読者様の多くは他分野の方ですが…）は，その歴史的背景から見ても，そして現在の実態としても学際分野です。たとえば，英語教育に関わる学会は職能団体（つまり，ギルド）としての機能も備えていますが，そのメンバー全員が均質な訓練を受けているとは限りません。
　小中高の教員免許は，一応制度上，業務独占資格に属しますが，英語教育の研究をしているからといって，必ずしも教員免許をもっているわけではありません。また，大学における教員は，実質的には修士以上の学位が業務独占資格のような位置づけこそ持っているものの，どのような専門性の持ち主であれ，大学の任用によって大学の英語教育に関わることができます。つまり，結局はさまざまな異なるキャリアの人の雑多な集まりというわけです。医学会みたいなものとは少し異なるわけです。
　研究者，なかでも小中高における英語の教員養成に関わる研究者・大学教員に絞っても，文学・言語学を専門にする方（一般に内容学と呼ばれる），教育研究を専門にする方（一般に方法学と呼ばれる）の二分法による歴史的な区分があります。また，もう少し広げて英語教育関係者全体の出身学部を見ても，いわゆる教育学部，文学部，社会学部，国際関係学部，工学部…とさまざまですし，所属先として見ても，それこそ教育学部，文学部，社会学部…とまさになんでもあり！なわけです。
　私個人はというと，地方国立教育学部出身で，ちなみに教育文化学部という名前でしたが，大学院は国際開発研究科という名前でした。この国際開発研究科は今は人文科学研究科に改編されたそうです。今，働いているところは，国際開発とは反対のような感じで，地域創生学部という名前です。ローカルになりました！でも改編前は人間文化学部国際文化学科でした。要は，教育，人間，文化，国際，地域など，時代によるラベルの流行り廃りは激しいけど，人間のコミュニケーションに関わりそうなところには大抵英語の先生がいるわけです。しかし，これは名前の問題だけじゃなくて，それだけ英語教育に関わる人はバラバラになっているってわけです。さらに加速度的にバラバラになるでしょう。
　もう少し，突っ込んだ話をすると，しばしば批判となる大学の再編というのは，こうして学問のカタチをゴリゴリと変えていきます。英語教育研究が学際的というのも，実のところ自前のディシプリンというよりもこうした外発的で当座的な制度改革のしわ寄せによるところが多いと思っています。というか，いずれ間違いなく，そのように歴史的に語られるでしょう。

研究方法論の多様性

　人間だけを見てもそのような状況ですから，人間の考え，特に研究方法論なんて厄介な代物になると，さらに多様になって当然ですよね。美しいことばを敢えて選べば「英語教育研究の研究方法論は実に多元的」です。あまり上品ぶらないでいえば，「研究方法論はもはや完全に断絶的な状況」ですし，ここにお酒を持ってくると私は3分後に「カオス！フリーダム！」と叫ぶでしょう，何度もだ。
　パラダイムなどという便利な言い方もあって，教育研究ではしばしば以下のようなものが挙げられます。

実証主義
ポスト実証主義
構築主義／構成主義
解釈主義
批判理論
プラグマティズム

　このようなリストから英語教育研究者に好きに何かを選んでもらったとしても，それは多岐に渡るでしょう。私の個人的な経験として留保するにしても，上記のような考え方においてポジションが異なると，もうそれだけでほとんどマトモに話は成立しないのです。たとえば，私はある方向に強めの実証主義者の先生とはまったく話が合いません。話しても冷静ではいられません。もちろん，だからといってコミュニケーションを避けてはいけないのですが，お互いの無用な消耗を避けるために，ほとんど学会などでお会いしても議論を避けてしまうのが恥ずかしい現状です。

　また，このような区別にも多分に問題があると思っていますが，いわゆる量的研究者と質的研究者も同じような関係にあると思います。そもそもお互いが冷静に議論するのは，ほとんど難しいのです。

　さらに，もっと細かく研究方法論を見ていても，以下のような対立がいつも，どこにでも転がっているのが常態です。

実験系 vs. 質問紙調査系
実践重視 vs. 理論重視
頻度主義統計 vs. ベイズ統計
検定ベース vs. モデリング
機械学習／人工知能 vs. 還元できない人間の卓越性
教師あり vs. 教師なし
形式性（数式） vs. わかりやすい自然言語

　ひどい場合は，アカデミックライティングの作法を巡って喧嘩が発生します。たとえば，

擬人化（the present study adopted...）するべき vs. だめ（In the present study, the author adopted...）
パッシブライティングが正しい（the results were shown in ...）vs. だめ
一人称は使うな vs. 積極的に一人称を使うべき

といった対立があります。

　要は，そもそもバラバラな集団なんだから，ありとあらゆるところに違いがあって当たり前って話なんです。まずはこの人種のるつぼ感を強く認識しないとなりません。

査読の問題に戻って

　しかし，実際に査読の場面において，このような多様性・多元性が望ましい形で尊重されてきたか，といえばまったくそうではないでしょう。たとえば，国内の英語教育研究の一部のジャーナルは，ある特定のスタイルを，しかもそれが統計上の多数派でもないのに殊更重視し，そのスタイルに合わないものは一方的に除外してきたのだと思います。たとえば，強烈に実証主義的で，高度な統計分析を行っていて，擬人化して，パッシブライティングで，そして一人称を絶対に使わないで隠すスタイルが優れた研究であり，それだけが他のすべてに優越する唯一の規範で…といったような傾向があったかもしれません。
　もちろん，査読システムとして，単一のスタイルだけを受け付ける方が弁別力としては向上します。低コストでもあるでしょう。そのような運用上のメリットとその必要性も十分にわかります。しかし，英語教育研究全体の実情を反映しているでしょうか。
　また，査読者として自分に馴染みのないスタイル，研究方法，または統計がたまたま回って来たときに，自分が馴染みがないという理由によってそのスタイル自身や研究を否定したりするのは，このような学際的な分野の査読者としての責任を果たしているでしょうか？「知らない」（情報が少ない）＝「駄目だ」（劣る）という構図は，差別の根本的なメカニズムだと教科書に書いています。
　しかし，逆に査読者の責任とは，どのようなスタイル，研究方法，そして統計が来たとしても，適正に評価できる夢のような能力のことを表すのでしょうか？一体誰がそのような能力を持つのでしょうか？仮にそのような能力の持ち主がいたとして，ほぼ無償の査読をしてくれるでしょうか？

原則

　というわけでは，私が考える原則はこうです。

メタ査読者に対して，査読する論文がよくわからないことをありのまま告げること

　まず第一の原則として，「査読者にとって馴染みがない」という理由は，学際分野に限っては「研究としての質が劣る」ことと切り離すべきだということです。「知らないから駄目」は，かなり均質な分野ではもしかしたら通じるかもしれませんが，まったく学際的な分野の実情に沿いません。なんなら，差別の構図に近いものがあります。
　次に，「査読者にとって馴染みがない」こと自体も，逆に学際分野のことですから，査読者の無能力に帰されるべきではないということです。おそらく，英語教育研究全体を網羅的にカバーする学識の持ち主は存在できません。査読者は，せいぜいが読者を母集団としたときのサンプルの一部です。それも大概タダ働きの。
　よって，よくわからない論文が回ってきたときに，査読者がすべきことは，編集委員などといったメタ査読者（meta reviewer）に正直にそのことを伝えるべきだということです。可能ならば，査読を引き受ける最初の段階で，意向を述べる機会があるならば，積極的に査読を辞退するべきです。
　といっても，メタ査読者にとってすれば，それでも代わりの査読者が簡単に見つからない場合もあるでしょうし，日程の関係でそのようなことをいってはいられない場合もあろうかと思います。こういう場合は，何よりも査読の制度改革が必要だと思います。適切な査読者が見当たらずに，査読者が不可能だと申し立てる査読者に査読を強いる査読システムは端的にいってすでに破綻しています。
　また，どうしても点数制などで点数をつけなければならないのなら，その項目（たとえば研究方法の適切性みたいな欄）は欠損で返すのがよいと思います。それで他の査読者の平均値などを代入するとよいでしょう。このときに，わからないという理由で低い点数，または高い点数をつけるのは憚られるべきでしょう。
　もう少し，強い言い方をしてしまえば，（a）実際は査読できない場合に査読を引き受ける，（b）査読できないのにも関わらず一方的に低い評価をつける，（c）実質的に断れない査読を引き受けさせる…といった行為は，すべて研究倫理の領域に足を踏み入れていると思います。これらはマナーや技術の問題ではありません。研究者として資質が問われても仕方ない問題だと思います。ただし，これらも今後各分野にて少しずつ改善していくべきことだと思っています。

考えておきたいこと

　しかし，ここでちゃぶ台を返すようなことをいってしまうと，よくわからない統計とか，よくわからない研究方法というのは，実際は書き手側のただの説明不足だったりもします。または，変に技術的にアピールしたいという意図があるかもしれません。私も過去にそのように思ったことが当然あります。新しい方法を手に入れると，人に見せびらかしたくなるものです。まったく，恥ずかしいですよね。結局，こういう側面があるから「わからないと落とす」ということに繋がります。
　やはり書き手として大事なのは，査読者にとって馴染みがないこともその場で説明して伝える力だと思います。私はこれを，個人的に構成性と読んでいます。優れた論文は，一見まったく意味がわからなくても，順を追って読んでいくと，次第にこちらの知識が構成されていき，わからないことがその場でわかるようになります。そういう力を身に着けたいものですね。