ずいぶん前にできていたのだが、変分ベイズのフォローのために、ブログに書くのを後回しにしてたオンラインＥＭについて。 確率的勾配法など、通常はオンラインの方がバッチより収束が遅い。 が、ＥＭアルゴリズムについては、オンラインの方が収束が速いら…

「パターン認識と機械学習(PRML)」10.2 章に従って変分ベイズ(Variational Bayes, VB)を R で実装してみて、PRML に書いてある内容通りか確認してみたところ、なんか違う。 「『変分混合ガウス分布は、余った混合要素は勝手にゼロになるから K が大きくても…

やっぱりまじめに実装して確認しないと、ということで PRML 10.2.2 の変分下界の膨大な式、つまり (10.71)+(10.72)+(10.73)+(10.74)-(10.75)-(10.76)-(10.77) を変形＆整理していったら、打ち消しあって消えて消えて、残ったのはたったこれだけ。 \tilde{π} …

この前の「パターン認識と機械学習(PRML)」読書会の後の懇親会で、「いや、機械学習は PRML が初めてで、読み始める前はガウス分布も共役事前分布も何それおいしいの？ だったよ〜」と話して驚かれたことに驚いたのだが、でも本当にその通りなのだ。 PRML 読…

参考：「機械学習とパターン認識」(PRML)のアンチョコ by herumi PRML 9章や10章の数式の解説ノート。10章の大変な計算も丁寧に展開してある。 4/10 の C.M.ビショップ「パターン認識と機械学習(PRML)」読書会 #13＠サイボウズ・ラボ に参加しました。各位お…

「パターン認識と機械学習」(PRML)読書会 #13 で担当する 10.2.1「変分事後分布」の資料の後半です。その１はこちら。 負担率 r_nk を求める q^*(π_k,μ_k,Λ_k) を推定したので、ρ(z_nk) の各項を計算できる。(B.21)より ψ(・) はディガンマ関数 (B.25) (B.81…

最近はすっかり機械学習なブログだが、何を隠そう実は @yohei さんの大ファン。 このブログにも以前は REST の話もちょっこりあったり無かったり。 twitter のアイコンは、ひそかに REST に由来するものだったり。 そんな n_shuyo としては、@yohei さんの「…

C++ で乱数、特に正規乱数とか欲しいなあ。 rand() 関数は使っちゃダメ！ 絶対！ ということらしいので、boost::random を使ってみた。 が、なんでちょこっと乱数が欲しいくらいでそんなややこしいコード書かないといけないの！？ と、キレたくなるほど複雑…

「パターン認識と機械学習」(PRML)読書会 #13 で担当する 10.2「変分混合ガウス分布」と 10.2.1「変分事後分布」の資料です。その２はこちら。 10.1 で述べた変分ベイズ近似(Variational Bayesian)を混合ガウス分布の推論に適応する例を見る。X = {x_n} : 観…

Boost uBlas で、mapped_matrix に値が入っているかどうかは find_element メソッドでわかる。 typedef boost::numeric::ublas::mapped_matrix<int> Matrix; const int N=3; Matrix m(N,N); m(0,2) = 0; m(1,0) = 2; m(2,1) = 1; std::cout << m << std::endl; fo</int>…

"Introduction to Information Retrieval" の１８章に従って SVD(Singular Value Decomposition) と LSI (Latent Semantic Indexing) を試した。 といっても、原理は線形代数で固有値とか計算したことある人にはシンプルな話だし、実装は世にいくつもあるか…