草薙の研究ログ

英語教育関係。でも最近は統計(特にR)ネタが中心。

マルチレベルのROC曲線

状況

  • 信号検出モデルのおはなし
  • ある信号の有無について多段階評定法(5段階)でデータを取る
  • 横軸にFA(率),縦軸にH(率)を描くとこうなる(ROC曲線)

f:id:kusanagik:20181121155648p:plain

  • このデータを100人について取るとする
  • もちろん,この曲線にも個人差がある

f:id:kusanagik:20181121155958p:plain

  • ところで,FA率,H率をz変換するとおよそ(大雑把にいって)線形回帰で近似できる
  • この線形回帰モデルの傾きが1に等しくなければ,等分散ガウス信号検出モデルの等分散の仮定が怪しい,そういう理屈

f:id:kusanagik:20181121160447p:plain

  • で,これを戻すとまあまあROC曲線に近似するというわけだ

f:id:kusanagik:20181121160728p:plain

  • しかし,これはあくまでもひとりのデータであって,これが100人分ある,と考えよう

ベイズでやろう

  • これは普通に変換したFA率を説明変数,変換したH率を応答変数,個人を変量効果と考えた線形混合効果モデルに帰着する
  • つまり,集団平均の傾きと切片があり,集団内の傾きと切片の分散共分散行列があると考える
  • Rのbrmsパッケージとかでちゃっちゃとやっちゃう

事後分布を見る

  • 基本的に,一番の興味はFAの傾きの母平均
  • ベイズ信用区間からみて,普通に1はなさそうだ(ベイズ因子とかやってもいいけど…)
  • なので,集団平均として見ると,等分散性は怪しそうだ

f:id:kusanagik:20181121161639p:plain

f:id:kusanagik:20181121161836p:plain

  • 0.04から0.20を考えればいいくらいみたいだ

集団平均と個々人の推定値からROC曲線を描いてみる

  • それぞれEAPを使って曲線を描くといいわけだ
  • こんな感じ

f:id:kusanagik:20181121162226p:plain

  • 弁別力が負に入るひともいるし,大体集団平均として等分散はないな,ってことがわかる
  • 次にここから正答率を計算できるわけだけど…って,まあいいや