次回から社内 PRML 読書会が 11章「サンプリング法」に突入予定。 昔(と言っても1年前)、自分が初読の時にあれこれ試した記録も参照してもらってて、光成さんからいろいろツッコミをもらう。 PRML 11章の重点サンプリングと SIR を試す http://d.hatena.ne.j…

ハイブリッドモンテカルロ試してみた。 - Mi manca qualche giovedi`? の続き。 PRML 読書会 #15の真っ最中に取り急ぎで書き散らかしたコードだったので、Metropolis-Hastings で決まる棄却もやってないし、もうちょっと別の確率分布でも試してみたい。 とい…

毎度 「パターン認識と機械学習(PRML)」 読書会 #15(6/6開催＠ＥＣナビさん) に のこのこ行ってきた。 おつかれさまでした＞各位。今回は 11章の残り（ハイブリッドモンテカルロ）と12章の主成分解析(12.3 まで)。 自然言語処理とはどちらもあんまり近くない…

PRML読書会でなんかうまくいかない的な話になったので、ちょっと書いてみた。 p(z) = N(0,1) としている。 # Hybrid Monte Carlo sampling N <- 1000; # number of sampling leapfrog_count <- 100; leapfrog_epsilon <- 0.01; # p(z) = N(0,1) = exp(-z^2/2…

iVoca は上から降ってくる英単語をどんどんタイピングして憶えるゲーム。 降ってくる単語は単純なランダムではなくて、ユーザが苦手な単語は何度も出てくるけど、得意な単語はあまり出題しないようになっている。 具体的には、各単語ごとの修得度を持ってい…

引き続き「パターン認識と機械学習」(PRML) 11章予習中。 Gibbs サンプリング、これはもう試してみるしか。 syou6162 さんが試してはるの( http://d.hatena.ne.jp/syou6162/20090115/1231965900 )をなぞるだけでもいいんだけど、せっかくだから多次元一般化…

PRML 11章の予習中。 p(z) = Gamma(3, 1) について、 E[ln z] を求めよう。 まずは「正解」。 PRML Appendix B を見ると、Gam(tau | a,b) に対して、E[ln tau] = ψ(a) - ln b とある(ψはディガンマ関数)。 R なら簡単に計算できる。 > digamma(3) - log(1) […