『英語教育のエビデンス』に頂いたコメント
『英語教育のエビデンス』
2021年度はコロナ禍もあり，所属組織が変わったりなどといっているうちに，すっかりこのブログからも手が離れてしまいました。この間に，研究社から私も複数章執筆した『英語教育のエビデンス―これからの英語教育研究のために』が出版されました。
私は以下の章を担当しました。
- 第一章「英語教育研究の新たな原則―エビデンスについて考える前に」
- 第八章「測定モデルと共通変数を問う―PK-Testを事例に」（工藤洋路先生と分担執筆）
- 第九章「これからの英語教育研究のあり方を考えて」
『英語教育のエビデンス』へのコメント
幸いなことに，私を含む著者らが思っている以上に多くの方が手に取っていただいているようです。著者陣の中では比較的無名というか，一番の若手である私のところにすら，相当数のコメント，感想，質問などが届いて，とてもびっくりしました。先日も関東甲信越英語教育学会のオンラインイベントでも，座談会としてこの書籍について取り上げてくださり，その中で直接的に質問を頂いたりしました。
私は，自分から「誠実な方だ」というには憚られるような輩ですから，それぞれこの本に関して頂いたコメントに対して，これまで十分にお答えできていませんでした。もちろん，私の不徳のなすところです。しかし何より，そのときは「自分でもどう答えるべきかわからなかった」ということも多かったのです。
ですが，ちょうど出版後からも時間が経ち，自分の考えも少しずつ固まってきました。そこで，このようなブログの記事にでも書いておいて，個別にお答えできなかったコメントを成仏させたいというか，むしろ整理のために文章化しようと考えました。さらに運良くこれがお目に留まっていただければ，などと欲張って。
ここで頂いたコメントの中で主要な３つをピックアップし，それに対する私の考えを書きたいと思います。最初に申し上げますが，まだお手にとってられない方や，教育現場のレベルの議論にのみ関心を持つ方を読者として想定しておりません。大変な失礼をいたします。
①第一章がむずかしいから一瞬で読むのやめた
一番多く頂いた反応がこれです。これは単純に私の力不足です。共著者の先生方にも，端的に申し訳ないと反省しています。
ですが，書いてあること自体，そして論立ての仕方については，私は自分の力不足を感じません。私は非常に内向的なので，「なんでもひどく後悔ばっかりしている」タイプで，いうなら「過去に自分書いたものはすべてクソだからすぐに燃やしてしまえ」という趣の焚書オジさんなのですが，この章については奇跡的にそう思っていません。おこがましいですが，私は珍しく私の持つものを出せたと思って自己満足しています。
そして何よりも以降の章を読むためにも，そしてこの本の趣旨を理解するためにも重要な章であると思っています。
もし読みにくいようなら，他の章といったりきたりされると少しわかりやすいかも…などと思っております。おいしい刺身というよりは，スルメやエイヒレをイメージいただけると幸いです。無責任な態度ですけど。
さらに関心を持っていただけたのでしたら，以下の論文と合わせて読んでいただけると私が大変喜びます。
②しょうもない研究ならしないほうがマシ？
私が担当した第九章に，エビデンスを「つくる」ための工夫，特に学会が取り組むべき方法の１つとして，研究テーマの緩やかな集中戦略を挙げました。要は，100人の研究者が100個の独自の研究テーマに取り組み，研究規模（予算，それによるデザイン）の問題によって，主に政策レベルのエビデンスがつくれない状態よりも，100人の研究者のコストを10個の研究テーマに集中させたほうが，エビデンスを「つくる」という目的に合致しているといった論です。
これは，一般に経済学や行政では，選択と集中と言われ，殆どの場合，悪評をもって語られます。ですが，それでもあくまで日本の英語教育研究を念頭に置くなら，研究組織の規模の拡大はエビデンスを「つくる」ためには，もちろん今でも有効だと考えています。
ですが，このような記述は，個人による小規模な研究を暗に否定し，主として大規模な組織的研究に参加しない（できない）研究者，そして教育実践者が個人の関心によって自発的な研究を行うことを抑制しないかという懸念が生まれます。「エビデンスの本を読んだら，研究が怖くなった」といった，要は萎縮につながるのでないかということです。このような反応が非常に多かったのには私も当惑しました。
この点については，第一に，私に限らず著者一同は，この本によって，英語教育研究をすることに関して，萎縮させたいわけではまったくありません。小規模の，そして個人の関心や都合に基く研究はこれまで通り，またはこれまで以上の価値を持つでしょう。ですが，あくまでもエビデンスに関していうならば，これにはおよそ関わらないままでしょう。
しかしそもそも，研究はエビデンスを「つくる」ためだけのものではないのです。実践者としてのQOL，個人の知的充足，組織内での業績評価，アカデミアの評価，人材保証，人事評価，そして何より人材育成…研究はありとあらゆる複合的な社会的機能を持っています。研究者と実践者はこれらの複合的な文脈と目的をもって研究します。著者らはこのような現状を批判して，一部の，たとえばエビデンスに関わる研究のみに価値があるとして，それ以外の研究者の居場所をなくしたいわけではありません。
しかし，一方でこのような複合的な文脈があるのだからこそ，私は「しない方がマシ」な研究も実際に数多くあると思っています。エビデンスに関わらない研究は無意味というわけではないですが，端的に研究倫理の観点からの問題も意識しないといけないと考えているからです。
多くの教育研究は「人間を対象とする研究」に相当します。英語教育研究のほとんどには，明確な身体に関する侵襲性はあまりないですが，個人情報の観点における安全性，そしてなによりも人的費用，特に参加者である子ども・児童・生徒らの機会費用などを考慮すると，従来どおりの，多数の小規模研究は，費用対効果の観点から徐々に控えられる動きになっていくと思います。私は，当該分野の研究は，純粋に数だけを追うと減っていく，つまりスローダウンしていく傾向を予測しています。
たとえば，悪意のある極端な例ですが，ある教師が自分の職場における役職などの待遇向上だけを動機とする実践研究は，おそらく重要なエビデンスにはならず，そのために研究倫理的に，つまり，そうした倫理面での負の側面と費用対効果を勘案すると，問題のある研究だとみなされるかもしれません。同様に，個人の学位のためだけに，従来教室実験といわれるような実験計画をどう評価するかも難しいと思います。そうであれば，ある程度エビデンスとしての費用対効果が見込まれる，そして倫理審査委員会を通すことができる組織的な大規模研究の方にインセンティブが働くと思っています。
もちろん，エビデンスを巡る議論は，基本的に科学リテラシーや科学コミュニケーションの問題でもあります。そうすると研究マインドというか，研究に関心をもつことは，萎縮どころか，むしろエンパワーメントが重要だと思います。この点を考えると，今後，アウトリーチ活動の重要性が増すと思います。これは「つたえる」「つかう」という点にも関わります。
③多様性や自由を奪う話ばっかり！
さらに基本的にエビデンスを「つくる」ための更に具体的な方策として，本書やその後の関連プロジェクトでは，以下の３つを紹介しています。この点に関連し，著者陣の一部は以下のような学会発表もしました。
- 寺沢拓敬・草薙邦広（2021）「エビデンスに基づく小学校英語に関する基礎概念の整理」第21回小学校英語教育学会関東・埼玉大会. オンライン開催.
- 草薙邦広・寺沢拓敬・酒井英樹（2021）「学会はエビデンスに基づく教育にどのように取り組むべきか？」第21回小学校英語教育学会関東・埼玉大会. オンライン開催.
処遇のプロトコル化・パッケージ化
処遇，たとえば多読だとかタスクだといっても，そこに括られていて，さらに共有されないさまざま手順の違い，そして集団の特性を含むあらゆる条件において結果は変動します。この変動部分を減らすために実験計画法における原則でもある反復と均質化を考えれば，医学分野で行われているようなプロトコル化（手続きや条件の厳正な文書化とその共有，遵守）は十分有効だと考えられます。複数の研究における個々の処遇を同一のものであると認証する厳格な基準が必要なわけです。私はこれを処遇認定手続きと呼んでいます。
また，同時にプロトコルとアウトカムをセットにする行為も有効なはずです。つまり処遇とアウトカムをパッケージ化します。当たり前ですが「処遇AがアウトカムBに及ぼす影響の大きさ」は「処遇AがアウトカムCに及ぼす影響の大きさ」と比較もできません。ある程度，エビデンスを論じるための土台として，処遇―アウトカム関係を固定化する枠組みが必要になります。
アウトカムの規格化・標準化
さらに，アウトカムが氾濫して不一致である状況を防ぐために（そして現状はそういう状況だと認識していますが），社会において合意性を担保できる，つまり標準的なアウトカムを作ります。もちろん完璧なアウトカムとなるテストなどは永遠にありえませんが，少なくとも合意は取れるものを当座的に定める必要があります。これを共通成果とかモデル上の変数となるという意味で，共通成果変数とか共通成果指標と呼びます。正直，成果指標だとKPIのように強烈な管理主義を思わせるので，敢えて私は共通成果変数という聞き慣れない用語を使っています。
このような手続きは一般に標準化，規格化などと呼ばれます。
厳正な因果推論
ここでは詳細は紹介しませんが，もちろん，RCTや事後的に交絡変数の影響を除去する統計分析（e.g., 傾向スコア）が望ましいです。
これらをまとめと，以下の3点が要点です。
- 処遇→マニュアル通りに全部揃える
- アウトカム→定められているものを使う
- 因果推論→多くの研究者には極めて困難
このような方策を紹介すると，エビデンスを「つくる」のに関して，研究者の自由度はほとんど残っていないように思えます。処遇は自分で独自のものを行わずマニュアルに従う，アウトカムは自分で作らず出回っている標準規格を使い，因果推論はある程度高度なので専門家任せ…。これだと研究が萎縮するというのも感情的に十分うなずけます。そこで，結論として「エビデンスは研究者の自由を奪う」という話につながるわけです。もちろん，非常に多いコメントです。
私は以下のように考えます。強いことばでいえば，重要な認識として，エビデンスという観点に限定すれば「逆にその自由こそが問題だった」のです。最初に，処遇について言えば，ほとんどの場合，十分なドキュメンテーションがされていません。実践研究では何を書くべきか，最低限の決まりも明確ではありません。「授業に関する論文では，そもそも紙幅の限界によって記述が十分でない」というのもずっと昔から言われています。私もそのとおりだと思います。
次に，アウトカムですが，英語教育研究者のほとんどが言語テストや心理測定の訓練を受けていません。「素人が思いつきで自作のものさしを使っている」というのもこの分野の自己批判として根強いです。もちろん，問題はそのような品質の自作のものさしでは，効果がそもそも比較不可能だということです。
最後に因果推論についてです。この本の共著者である寺沢さんの発言として，「t検定はエビデンスにならない」などという非常に表面的な彼の言葉尻だけを捉えた話が批判的に話題になる場面を何度か見ていますが，彼はt検定自体を問題にしているのではなくて，交絡変数とサンプリングに関する無頓着さ，つまり因果推論に関する理解の低さについて言及しています。私自身も「検定したからエビデンス！」という話に何度か首を傾げたかわかりません。つまり，それほどこれまでの研究は，因果推論の適格性に疎かったのです。未だに，統計的有意差＝エビデンスだという誤った認識が蔓延しています。
まとめると，上記の２つ，つまり処遇とアウトカムはまったく研究者の自由（見たいものを見れて，好きな処遇をやれる）であり，加えて，同時に検定さえすればエビデンスという（誤解に基く）一連の構図が悪かったのです。処遇とアウトカムの自由な導出＋無批判的な検定という組み合わせがエビデンスの文脈では問題なのです。どちらかというと，エビデンスに大事なのは，ここの処遇→アウトカムの厳密な因果推論であって，もちろん検定の有無ではありませんし，処遇とアウトカムに対する社会の合意なのです。
このような枠組みでの自由というのが，なんというか，本来，一種の人権論のような規範や価値としてのあるべき自由ではなく，私には単に方法論上の放置というか未着手なのだと思っています。再び，強固な態度だと思われるでしょうが，まずは（心理学のように）手続き的に尺度作成，テスト開発，そして（わたしたちのドメインの仕事として）厳正な処遇の類型，プロトコル化，厚い記述をした上で研究を実施するのがあるべき姿だと思います。これらをしないこと＝自由だとはまったく思いません。適当なままでいる自由といったものを認める論には立てません。
また，これもよく質問をいただきますが，私は，エビデンスを議論する際の処遇やアウトカムは，教育現場のレベルから教育行政のレベルまで一貫性を保つ必要があると思います。たとえば，英語教育のアウトカムとして，行政上の資質・能力の３つの柱に十分な関連性をもたせることは，関連分野の１つである心理学や第二言語習得が自由に導出した構成概念よりも，たとえ後者がより学術的に洗練されたものであっても，エビデンスという議論の中では有益だと考えています。
もちろん，公共的でない，または英語教育のエビデンスに関わらない研究，たとえば基礎研究であればまったくこの批判は当たりません。本書にも繰り返し書いたように，基礎研究の立ち位置自体を批判するわけでもありません。むしろ有益な連携と協同を期待するだけです。
…さて主要なコメントについて考えたことを書いたら随分と長くなってしまいました。…前に書いていた「サドコマ」というシリーズネタもそろそろ再開したいと思いますけど，奇特な読者の方，再開しなかったら…そういうことです。
