EMアルゴリズム

PRML 13章の「HMM の最尤推定」を書き換えてみた

@shuyo: 社内PRML読書会。今日はHMMの最尤推定。EMAによる導出部分がムダに天下りすぎる。Mステップの対数同時分布の期待値の計算に必要な事後分布の統計量E[z_nk]をγ_nkとおくと、1-of-Kゆえγ_nk=p(z_nk=1|X)がわかる、って流れの方が自然だと思うんだが。2…

オンラインEMアルゴリズムで混合ガウス分布推論

ずいぶん前にできていたのだが、変分ベイズのフォローのために、ブログに書くのを後回しにしてたオンラインEMについて。 確率的勾配法など、通常はオンラインの方がバッチより収束が遅い。 が、EMアルゴリズムについては、オンラインの方が収束が速いら…

多次元混合ガウス分布での incremental EM 更新式

計算してみた。 が、Σの式、ちょっと自信がないから実装する前に晒しとく。 [2010/03/15] Σの更新式が間違っていたので訂正(今度も絶対あってる自信はないが) x_m について更新するとき、 E step M step とおくと

PRML 読書会 #12 9章 EMアルゴリズム&10章 変分ベイズ

参考:[http //d.hatena.ne.jp/n_shuyo/20110722/prml:title=「機械学習とパターン認識」(PRML)のアンチョコ by herumi]:PRML 9章や10章の数式の解説ノート。10章の大変な計算も丁寧に展開してある。 3/7 の C.M.ビショップ「パターン認識と機械学習(PRML)」…