草薙の研究ログ

英語教育関係。でも最近は統計(特にR)ネタが中心。

手法上の利点とノウハウの違い

手法上の利点,または手法的に優れている(methodologically sound)手法というのは,基本的に適用する対象と独立してその有用性が与えられるものだ。だから,「手法上の」(methodologically)という言葉をつける。

これは主に数理的な,または技術的な意味で従来のものを包含してしまうか(俗にいう一般化された),または明らかにその手法自体のアフォーダンスに当たる要素について,客観的で,もはや自明ともいえるような評価が与えられるものに限る。

私は1980年代の生まれなので,ビデオデッキもしっているし,その規格争いについても知っている。そして新しいDVD規格,そしてBlueray規格もしっている。おそらく,これら新しいもの(記録方法など)は古いものに比べて手法的に優れている。保存できる情報量とか,そういう数値でそれが評価できる。

でも,大事なことは,我々がしばしば道具や手法のよしあしを議論するときに,「適用する対象と独立しているか」について見逃してしまうことだ。

「昭和のアダルトビデオを見るのはやはり擦り切れてフィルム焼けしたビデオに限るな,ブルーレイや動画配信なんて好きじゃない。これは俺の青春だ」っていうちょっと気持ちの悪いおっさんがどこか広島あたりにいてもいいし,スマフォよりもガラケーの方が好きなひともいていいし,誰が竹枕で寝てもいいし。…ああ,そうですか,となる。たいていの人は。

…これはノウハウだ。手法的に(技術的に)ブルーレイがビデオよりも優れているとか,そういうのとはちょっと関係の薄いことだ。

 

私の分野,外国語教育研究は計量的な分析について非常に後進的だが,「手法Aより手法Bの方がいい」みたいな話でいっぱいだ。結構なことだ。

でも,「手法的に優れている」ことを主張するためには,あくまでも「その手法を応用する対象」とは独立して,客観的な方法で示したらいい。たとえば統計モデルでは,従来のモデルを新しいモデルが含んでいることを数理的に説明できたらいい。

でも一方のノウハウは,ある対象における文脈の中の話だ。

 

分散分析より重回帰がいいというと話をよく聞く。大概のひとは耳だこだ。最近も聞いた。手法上の利点の話をすれば,正直どっちもあまり変わらない。成立過程を問わなければ,どちらも一般線形モデルの仲間と捉えられるし,一般線形モデルは一般化線形モデルへ一般化された。混合モデルをこれに適用できるようになったし,もはやMCMCなどの数値解析法に頼れば,従属変数,独立変数,階層レベルでの母数の分布,そういったものはとても自由にモデリングできるようになった。こういった発達を考えれば,手法上そんなに差はない。それに分散分析や重回帰は構造方程式モデリングで代用できるし。

手法上のことをいえば,典型的な分散分析は,独立変数がカテゴリカルで,典型的な重回帰よりも独立変数の数が少ない。…手法上の観点でいえば,でも,まあそれくらいだ。

 

この話の問題はノウハウに当たることだろう。

独立変数の尺度水準は,単純に研究対象による。

実験を計画し,条件を割り当てたりしたとき,その尺度水準がカテゴリカルなのは自明であるし,場合によってはカテゴリカルな尺度水準の方が理論上望ましい,または理論上それらしい時もある。観測変数とその背後にある変数のそれぞれの水準は,基本的には理論または必要性に関する議論から得られるべきだ。

また,独立変数の数についても,ランダムサンプリングができており,割り当てた水準との交絡が無い限り,従属変数に対する交絡変数の影響は無視できる。そういった時に無駄に変数を増やすことは研究計画の一貫性を著しく下げる。

もっと簡単にいうと,統計モデルを選択するときに,ある研究においてそれが分散分析モデルに帰着したからといって,それがなんだというんだろう。

こういったある目的下における親和性などを無視して,さも手法上の利点であるかのようにある手法をアピールすることは違う。そしてある具体的な状況下・目的を踏まえないノウハウなんてもはやなに。

 

統計の手法はより制約が自由に,そして理論的見地からモデルがより導出しやすく,そしてよりユーザーフレンドリーになる方法で発達していく。しかしその中で,例えばその古い方法の制約が満たされて,十分に理論的見地よりそれで検証できることが明白ならば,別に新しい手法使わなくていいんじゃない。そういうノウハウも重要でしょう。手法が自由になる,というのはそういうことでしょう。

新しい手法,新しい手法というようにとらわれるのも,もはや1つの理解不足だな,というように自分にも常々言い聞かせたいものだ。

 

もちろん,ある場合によって重回帰の方が断然いいだろうというノウハウには大いに賛同だ。そしてこれはもっとも議論する余地のないところだと思う。