例えば，何かの指標なりモデルを用いて， 二値的に何かの状態がある（陽性）かない（陰性）かを検査する方法を作るとする。 そのパフォーマンスは以下のような真の状態と検査結果の混同行列を見るとわかる。この場合の混同行列は， 真の状態が陽性 真の状態…

ゼロ過剰ポアソン分布では2つのプロセスが考えられている。まず，最初に0の確率がσである二項分布で，値が0でないときのカウントデータがμに従うという。統計モデリングにおいて「ゼロが多いときに使うといい」とはよく聞くものの，厳密にいえば，このような…

その理由はこちらから！ web-based slideshow

「思ったように有意差が出なかったんですけどなにかこのデータから言えることはありませんか？」 「どんなデザインですか？」 「処置群・統制群，事前・事後，成果変数は1です」 「そうですね…まずは処置群を恣意的に何パターンかに分割してみましょう！そう…

数理モデルというものは，その記述の仕方の形式性の割には，数理モデルということばに親しみを感じないほとんどのひとが思うより，本来結果主義的で効用主義的なものだ。 モデルは，もちろん現象それ自体ではないし，その現象を大幅に捨象していて，しかしそ…

自分用のメモ。 #日付クラスへ変換 d<-"2016-1-1" d2<-as.Date(d) class(d2) #日付データの足し引き（日付クラスだとこれができるようになるのが最高） d2-1 d2+1 d2-1000 d2+1000 #基準日から1日毎にログイン回数を累積計算 #datは時間とログイン回数のデー…

一般化パレート分布は所得の分布などに使われるそうだ。 外国語教育研究でもこういった分布になる変数を私はひとつだけ知っている（いわないwww）。Rにいろいろあると思うけど，ここではactuarパッケージとfitdistrplusパッケージを使う。 actuarパッケージ…

RのMCMCpackにはMCMCmetrop1Rっていう関数があって，これは任意（自作）の対数尤度の関数をいれてMCMCでサンプリングすることができる。なので，結構手軽にMCMCを使ってデータに好きな分布を当てはめることが可能。ここでは（まったくそんなことはしなくても…

まあ結構いろんなことに汎用的に当てはまることだと思うのだけど，ソフトウェアの品質管理とかの分野では，ソフトウェア信頼度成長曲線という手法があるそうだ（古い友人に教えてもらった）。これは，ソフトウェア開発において，バグの発見数や残ったバグの…

聞いたこともないけど，要素数2の混合正規指数合成分布（ex-Gaussian）モデルというのを考えてみる。ま，2つの異なる認知プロセスが混合したときの反応時間の分布だとか，そんなそれっぽいことを考えてみる。そんなものは多分ない。ま，でもこの確率密度関数…

なんかある論文で，分布が強く歪んでいることが理論的に明白だった変数に，ガンマ分布か対数正規分布かなにかを当てはめて，その推定母数と適合度指標のみを（きつい紙幅の関係もあって）報告したときに，「標本の記述統計を報告しないとはけしからん」とい…

Rのmixtoolsパッケージでは，混合ガンマ分布モデルもデータへフィットさせることができる。 #λ= .25,.75，α - 4, 10，β= 1, .2が正解 set.seed(0) dat<-c(rgamma(100,4,1),rgamma(300,10,.2)) hist(dat,breaks=20, main="",col="lightblue") model<-gammamix…

外国語教育研究では2つの山とか3つの山とかの分布になっているのを見ることがある。こういうときは，混合分布モデルをデータにフィットさせるといいかもだ。Rではmclustもいいけど，mixtoolsというパッケージがある。 #準備 library(mixtools) #数値例の作成…

#正規分布の場合 set.seed(0) dat<-rnorm(100,0,1) ks.test(dat,"pnorm") #特定の平均と標準偏差をもつ正規分布 set.seed(0) dat<-rnorm(100,0,1) ks.test(dat,"pnorm",1,1) #ガンマ分布 set.seed(0) dat<-rgamma(100,2,3) ks.test(dat,"pgamma",2,3) #ワイ…

fitdistrplusパッケージのfitdist関数は，dnorm, pnormのように，dとpの関数が定義されていればどんなものでも指定することができる。自作でもいいってこと。ま，でも殆どの場合，自分程度が思いつくような分布はすでに用意されているってのがR。たとえば，…

ある確率分布を手持ちの単変量データに当てはめ，その母数を最尤推定するという方法があって，Rでは通常MASSパッケージのfitdistr関数を使うのがお手軽なんだけど，fitdistrplusという便利なパッケージが出ていてこれがとてもいいかも。ま，結局はoptimにか…

えっと，リクエストがあったのでここに書く。（SPSSならそれっぽい曲線もつけてくれるのにRはそんなこともできないのか？といわれた）まずはこんなデータがあるとしよう。形状母数が3，尺度母数1のガンマ分布にしたがう300個。 set.seed(0) dat<-rgamma(300,…

負の二項分布（negative binomial distribution）は，（a）その母数を成功回数（ないしサイズ母数）rと，成功確率pとする場合（こっちに親しみ）と，（b）サイズ母数rと平均μとするときの二種類があるんだそうだ。パラメーター化の方法が違うってのは，ガン…

なんていうんだろ，それが何を測るかは一切分かっていないけど，その変数の利活用を暗に強いられているような変数。 オンライン学習履歴データとかがまさにそうだ。オンライン教材のログイン時間とか。これは何か測定を目指す構成概念がこのデータに先んじて…

なんか最近こういうのやたら多いね。POSってはpart of speech。品詞のこと。 ウェブブラウザでテキスト投げてやればPOSをタグして返してくれるっていうお手軽サービス。 1. Parts-of-speech.Info - POS tagging online 2. NLTK POS Tagging - API & Demo | T…

自分で関数書けばいいってのもごもっともだし，他にも色々あるんだけど，bayesmパッケージにnmatっていう関数がある。 vcovm<-matrix(c(3,2,2,3),2,2) cm<-nmat(vcovm) matrix(cm,2,2)

手法上の利点，または手法的に優れている（methodologically sound）手法というのは，基本的に適用する対象と独立してその有用性が与えられるものだ。だから，「手法上の」（methodologically）という言葉をつける。 これは主に数理的な，または技術的な意味…

12/17の名古屋，外国語教育メディア学会中部支部外国語教育基礎研究部会第4回年次例会で討論型ワークショップやります！ このワークショップは，（私の得てしてくだらない話題提供のあと）基本的に参加者同士でグループを組んでもらい，想いの丈を共有し合う…

オランダのWagenmakers先生たちのチームがJASPっていう統計ソフトを開発している。（結構前から）無料で公開中。 JASP | A Fresh Way to Do Statistics https://jasp-stats.org/wp-content/uploads/2016/10/DISCOVER_JASP.pdf まだ開発途中感があるけど，す…

google翻訳すごい。 おそらく10年もしないうちにこういう授業実践が見られるようになるかも。 10年後，新しい能力，より汎用的な能力，就業力，コミュニケーション能力，批判的思考力といった概念が，教育上の成果や目的変数として今以上に重要とされるよう…

外国語教育研究では強く歪んだ分布をもつ連続型確率変数を扱うときがある。 学習時間，ある変数上でのテスト成績，心理学的な実験における反応時間，読解時間などがそう。場合によっては，これを正規分布にしたがう確率変数にすることを目的に対数変換すると…

変な話だけど，研究者にとって，実験をして得る標本効果量の期待値を最大化する方法はないけど，標本効果量が任意の値x以上を取る確率を最大化する最も合理的な方法はある。標本サイズを小さくすること。母標準化平均差が0であるとき，たとえば，4人対4人と…

local shirnkingに基づくクラスタリングっていう手法があるんだって。http://math.yorku.ca/~stevenw/pub/sw14.pdfこれをやるRパッケージもある。https://cran.r-project.org/web/packages/clues/clues.pdf まあ，よさそう。このパッケージ面白くて，面白い…

美しいリレーの話。 まずはRのスクリプトファイル（.r）を用意する（a.rとする）。 それでこのスクリプトファイルをRscriptで実行するバッチファイル（b.bat）を用意する。 このバッチファイルを実行するVBScript（c.vbs）を用意する。 vbsは，コマンドプロ…

概論的にはこの論文がいいかも。 Adcock, C. J. (1997). Sample size determination: a review. Journal of the Royal Statistical Society: Series D (The Statistician), 46(2), 261-283. 実験する前に，適切な標本サイズを決定しましょう，というそういう…