Statistic modeling : introduction

Statistic model（確率モデル）の推定の代表的手順。

1．モデルの推定 : EM algorithm を使う。このとき、パラメータの数を与える必要がある。
2．モデルの評価 : BIC を使う

混合数を低い値から始めて、徐々に増加させていきながら、EMアルゴリズムでモデルを推定し、そのBICの値を計算します。

1．モデルの推定
EMアルゴリズムは反復法の一種であり、期待値(英語: expectation, E) ステップと最大化 (英語: maximization, M)ステップを交互に繰り替えすことで計算が進行する。 観測不可能な潜在変数に確率モデルが依存する場合に用いられる。Eステップでは、現在推定されている潜在変数の分布に基づいて、モデルの尤度の期待値を計算する。 Mステップでは、E ステップで求まった尤度の期待値を最大化するようなパラメータを求める。 M ステップで求まったパラメータは、次の E ステップで使われる潜在変数の分布を決定するために用いられる。
Wiki (jp)

2．モデルの評価

さて、情報量規準といっても様々なものがあるが、多くの教科書で取り上げられているように、赤池情報量規準（AIC）とベイジアン情報量規準（BIC）がもっとも頻繁に使われているものである。この二つの情報量規準の定義は、以下のように与えられる。

AIC=T*log(s²)+2*K,   BIC=T*log(s²)+K*log(T).

ただし、Tは標本の大きさ、s²はモデルの誤差項の分散推定量で、Kはモデルに含まれる係数の数である（教科書によっては、両辺をTで割って定義することもある）。すなわち、様々なモデルを最小2乗法で推定し、その残差から分散推定量s²が得られれば、AICやBICは簡単に求めることができ、情報量規準を最小化するモデルを選択してやればよいのである。

情報量基準はEMアルゴリズムとだけではなく、k-means法とも使われている。ここやここで紹介されているように、これをx-means法とよぶ。

• 参考サイト

モデル選択とその周辺（統計モデルのレビュー。AICやbootstrapにも言及。 pdf）

統計学におけるモデル―情報量基準の観点から―（◎モデル選択のレビュー。BIC, AICについて。pdf）
ベイズ情報量規準（概要）
尤度とAIC（タイトルのまま）