Rで評点者間信頼性："irr"パッケージ
評定者間信頼性かあ。Rでやったことがない。
でも調べたらやっぱあった。知らんかった。
http://cran.r-project.org/web/packages/irr/irr.pdf
水本先生*1のκ係数についてのページにあるデータを例にしよう。
| 評定者A | 評定者A | |
| 1 | b | b |
| 2 | a | a |
| 3 | c | c |
| 4 | b | b |
| 5 | b | c |
| 6 | c | c |
| 7 | b | c |
| 8 | a | a |
| 9 | c | c |
| 10 | c | c |
| 11 | c | c |
| 12 | c | c |
| 13 | b | b |
| 14 | a | a |
| 15 | b | b |
| 16 | c | c |
| 17 | a | b |
| 18 | c | c |
| 19 | a | a |
| 20 | b | b |
こんなデータ。
まずirrパッケージをインストール。
install.packages("irr")
使えるようにする。
library(irr)
準備はOK。
データを読み込む。
「数字のところだけ」エクセルとかでコピーして，
dat<-read.table("clipboard")
早速κ係数からやってみよう。
kappa2(dat)
だん。
Cohen's Kappa for 2 Raters (Weights: unweighted)
Subjects = 20
Raters = 2
Kappa = 0.767z = 4.83
p-value = 1.38e-06
なんかでたー。
Kappaは.77だそう。ふーん。
ものぐさなひとは，
もうこの一行をコピペしちゃおう。
kappa2(read.table("clipboard"))
これを貼り付けて，エンターを押さないで，そのままにしてエクセルとかでクリップボードにコピーして押しちゃう。
ほかにも，Fleiss’ Kappa，Light's Kappa, KendallのWとかもあるね。評定者バイアスも。まあいろいろ場合によってね。
あ，そうだそうだ，もちろん単純一致率も出せる。
agree(dat)
てい。
なんかでたー。
Subjects = 20
Raters = 2
%-agree = 85
クリッペンドルフのαっていうのが一番いいのよね。変数の形とかそういうのいろいろ拡張できているから。kripp.alpha関数ね。*2
まあいいや。
Krippendorff, K. (1980). Content analysis: An introduction to its methodology. Beverly Hills, CA: Sage.
うん。
そうだそうだ。多人数でカテゴリカルデータじゃなかったら，クロンバックのα係数でいい。"psych"パッケージでクロンバックのα信頼性をもとめるときは，
install.packages("psych")
library(psych)
alpha(dat)
でいいのだけど，
alpha(dat, check.keys =F)
にしよう。おまじない。
