草薙の研究ログ

英語教育関係。でも最近は統計(特にR)ネタが中心。

見張りは誰が見張るのか?

データが得られる過程 vs. 変数の質

最近,エビデンス,エビデンスと聞くけども,でも,EBM(証拠にもとづく医療)を他の分野に適用するには(基本的には賛成側なのだけど),ちょっとだけ慎重性を要する側面もあると思っている。それは学問自体の背景についてなのだけど,具体的には,データが得られた過程・形式を大事にする分野と,変数や条件の質を大事にする分野は決定的なところで異なる,ということ。

エビデンス-明確な価値の合意がある分野

エビデンスということばを好むものは前者だろう。RCT(無作為化比較実験)のメタ分析は,単体のRCTよりもレベルが高い,実験計画上の要件を落とせば落とすほどレベルは下がり,症例報告は実験に劣り,専門家の意見は更にそれよりも劣る。もっともな話だ。ちょっと語弊があるけど簡単にまとめるとすれば,研究デザインによって序列化するということEBMの中でもこういう階層を嫌い,弊害を訴えるひともいるということはおいておいて)。

こういうデータの取得方法を重視する見方が生まれる背景には,「ほかは問わずともよい」という状況があるんだよな。「亡くなった」とか「生き延びた」とかのオッズ比/相対リスク,回復と悪化,そういう変数には「問わずともよいレベルに達している研究者の合意」がある。終末医療,緩和医療,QOLといったその種の医療倫理に関する事柄に目を瞑れば,「健康であること」の定義やその価値は,(私が以下に述べることよりは相対的に)自明に見える。それに,疾病ある/なしの相対リスクなどは観測変数自体に意味があるし,解釈ができる。なので,エビデンスは基本的に結果変数とセットであり,エビデンスは処遇や曝露などに対して付属する(e.g., ○○施術に対するエビデンス,△△処置のエビデンス)。もっといえば,操作(政策,処遇)と結果変数の組み合わせについてあまり議論しなくても済む。なので,データの得られ方が質を規定してもよい。そっちの方が大きな問題になる。

一方変数の質を求める分野では…

一方,そうはいかない分野もある。(詳しくはないけど)第二言語習得(SLA)という分野では,一般にタスクとよばれる教育的活動を重視する。そこで,タスクを繰り返し行うと「発話の流暢性が上がる」,「発話の正確性があがる」,「発話の複雑性があがる」,「多様な語彙を使う」,「意識の向きが変わる」,「文法知識が身につく」といった実に多様な結果変数を扱う。平たくいえば,デザインを精緻化していくというよりは,操作(政策,意思決定,処遇選択)の効果が明らかになる結果変数を枚挙する潜在変数をなさない場合は,観測変数の枚挙を続ける。TTRは伸びないけど,GIは伸びる,など。このように結果変数を少しだけ変えて実験を行うことが当該分野のセオリーであり,重要な研究アルゴリズムのひとつ。ここで大事なことは,結果変数の質(ないし価値の重みづけ)がそれほどそれぞれの研究者にとって合意できるものではないということだ。研究者によっては「発話の正確性があがること」により強い価値を見出すひともいるし,また「発話の複雑性があがること」に価値を置くひともいる。このとき,データの得られ方は,皆無ではないにしろ,あまり大した意味を持たない。1,000人のRCTによる全く興味のない結果変数における効果よりも,たとえ24人のケーススタディであっても,興味のある変数における効果の方に強い価値を見出してしまうかもしれない。

医療と教育の違い

医療と教育(人文社会系)には,ここに大きな違いがある。少人数学級の効果は「いじめの年度内報告件数」で見られるべきなのか,「学力」なのか,「子どもの情意的側面」なのか,はたまた「教員の労働環境」なのかは,新薬と回復/悪化という変数の関係のような自明なものではない。教育経済学者さんがよくいう(そしてモデルに投入する)「学力」という変数のとらえ方のナイーブさに卒倒してしまいそうになる教育関係者もいる。「学力とはなにか」だけでも一分野をなし得る(誰もがものすごく複雑な構成概念(潜在変数)であるというだろう)。でも,たとえば製薬会社が新薬の効果を試すときに,効果が何に現れるかとかにはおそらくそんなことない。

良くも悪くも,そういう背景の違いがあるということ。意思決定にエビデンスを重視するのはもっともだ。どのようなレベルであるせよ,第三者が関わる意思決定においてアカウンタビリティを持っておくことはなによりも大事だ。その意思決定が重くなればなるほどエビデンスの質は高くなければならないし,アカウンタビリティなりエビデンスを規定するための明確な基準は必要だ。それが「データの得られ方」という見やすいものであればなおよい。でも,背景がぜんぜん違うのだから,それだけではうまくいかないところもあるだろう。どこかに「いい落ちどころ」を見出さなければならないだろう(でも「価値の多様性」が長期的にそのまま生き延びることは人類史上稀なことだよなあとも思う)。

それに,いろんな社会事情も知るべきだ。EBM批判,北米のエリート=シンクタンク文化とか,北米の教育政策とか。割りとそういう側面を知った上で考えないと。最近の教育エビデンス・ブームは,日本の教育関係者からしては,鶏声のような,外発的なものだということ。内発的に熟して現れたものではなく,考えるべきことが山積み。

総括

果たして,なにがエビデンスレベルを与えるのか?エビデンスを与えることに対するエビデンスはなんだろう?見張りは誰が見張るのか?