読者です 読者をやめる 読者になる 読者になる

草薙の研究ログ

英語教育関係。でも最近は統計(特にR)ネタが中心。

Rで評点者間信頼性:"irr"パッケージ

評定者間信頼性かあ。Rでやったことがない。

 

でも調べたらやっぱあった。知らんかった。

http://cran.r-project.org/web/packages/irr/irr.pdf

 

 水本先生*1のκ係数についてのページにあるデータを例にしよう。

カッパ係数

 

  評定者A 評定者A
1 b b
2 a a
3 c c
4 b b
5 b c
6 c c
7 b c
8 a a
9 c c
10 c c
11 c c
12 c c
13 b b
14 a a
15 b b
16 c c
17 a b
18 c c
19 a a
20 b b

 

こんなデータ。

 

まずirrパッケージをインストール。

install.packages("irr")

 

使えるようにする。

library(irr)

 

準備はOK。

データを読み込む。

「数字のところだけ」エクセルとかでコピーして,

dat<-read.table("clipboard")

 

早速κ係数からやってみよう。

kappa2(dat)

だん。

Cohen's Kappa for 2 Raters (Weights: unweighted)

Subjects = 20
Raters = 2
Kappa = 0.767

z = 4.83
p-value = 1.38e-06

 

なんかでたー。

Kappaは.77だそう。ふーん。

ものぐさなひとは,

もうこの一行をコピペしちゃおう。

 

kappa2(read.table("clipboard"))

 

これを貼り付けて,エンターを押さないで,そのままにしてエクセルとかでクリップボードにコピーして押しちゃう。

 

ほかにも,Fleiss’ Kappa,Light's Kappa, KendallのWとかもあるね。評定者バイアスも。まあいろいろ場合によってね。

あ,そうだそうだ,もちろん単純一致率も出せる。 

 

agree(dat)

 

てい。

なんかでたー。

 

Subjects = 20
Raters = 2
%-agree = 85

 

クリッペンドルフのαっていうのが一番いいのよね。変数の形とかそういうのいろいろ拡張できているから。kripp.alpha関数ね。*2

 

まあいいや。

 

Krippendorff, K. (1980). Content analysis: An introduction to its methodology. Beverly Hills, CA: Sage.

 

うん。

 

そうだそうだ。多人数でカテゴリカルデータじゃなかったら,クロンバックのα係数でいい。"psych"パッケージでクロンバックのα信頼性をもとめるときは,

 

install.packages("psych")

library(psych)

alpha(dat)

 

でいいのだけど,

 

alpha(dat, check.keys =F)

 

にしよう。おまじない。

 

*1:お世話になっております。

*2:そういや,なんかSPSSシンタックスはっつけて,ブートストラップ法で信頼区間計算するとかM1のとき(2010年)授業で聞いたな…これ今どうなってんだろ…。まあでもまだ評定者間信頼性指標の信頼区間を書きなさいっていうかんじじゃないよなあ…もっと信頼区間計算すべきものはいっぱいあるしなあ…