えらく間隔があいてしまった。 LDA の結果を評価しつつ、前回やった LDA の Collapsed Variational Bayesian(CVB) 推論にて、初期化に一工夫入れて、少ないイテレーションで定性的によい結果を得られることを確認していたので、その解説も入れていこう。 Lat…

Collapsed Gibbs Sampling (以下 CGS)で LDA の推論を行う話は Latent Dirichlet Allocations(LDA) の実装について - 木曜不足 にて書いたのだけど、今回はそれとは別の Collapsed Variational Bayesian (以下 CVB) で推論を行う話。 まず、LDA の原論文であ…

「パターン認識と機械学習(PRML)」10.2 章に従って変分ベイズ(Variational Bayes, VB)を R で実装してみて、PRML に書いてある内容通りか確認してみたところ、なんか違う。 「『変分混合ガウス分布は、余った混合要素は勝手にゼロになるから K が大きくても…

やっぱりまじめに実装して確認しないと、ということで PRML 10.2.2 の変分下界の膨大な式、つまり (10.71)+(10.72)+(10.73)+(10.74)-(10.75)-(10.76)-(10.77) を変形＆整理していったら、打ち消しあって消えて消えて、残ったのはたったこれだけ。 \tilde{π} …

「パターン認識と機械学習」(PRML)読書会 #13 で担当する 10.2.1「変分事後分布」の資料の後半です。その１はこちら。 負担率 r_nk を求める q^*(π_k,μ_k,Λ_k) を推定したので、ρ(z_nk) の各項を計算できる。(B.21)より ψ(・) はディガンマ関数 (B.25) (B.81…

「パターン認識と機械学習」(PRML)読書会 #13 で担当する 10.2「変分混合ガウス分布」と 10.2.1「変分事後分布」の資料です。その２はこちら。 10.1 で述べた変分ベイズ近似(Variational Bayesian)を混合ガウス分布の推論に適応する例を見る。X = {x_n} : 観…

「Old Faithful の推論を K-means と EM について、Ｒで実装」の続き。 【追記】実装にバグが見つかり、この記事の末尾の「うまく縮退しない」は間違いでした。→フォロー記事へ PRML １０章、変分推論(変分ベイズ)がいまいちわからない。 観測＆隠し変数のハ…