混合ガウス分布の変分下界の計算式

PRML 機械学習変分ベイズ

やっぱりまじめに実装して確認しないと、ということで PRML 10.2.2 の変分下界の膨大な式、つまり (10.71)+(10.72)+(10.73)+(10.74)-(10.75)-(10.76)-(10.77) を変形＆整理していったら、打ち消しあって消えて消えて、残ったのはたったこれだけ。 \tilde{π} …

2010-04-16

PRML 復習レーンが始まるよ、だって。

機械学習 PRML

この前の「パターン認識と機械学習(PRML)」読書会の後の懇親会で、「いや、機械学習は PRML が初めてで、読み始める前はガウス分布も共役事前分布も何それおいしいの？だったよ〜」と話して驚かれたことに驚いたのだが、でも本当にその通りなのだ。 PRML 読…

2010-04-12

PRML 読書会 #13 １０章近似推論法(変分ベイズ)

機械学習読書会 PRML

参考：「機械学習とパターン認識」(PRML)のアンチョコ by herumi PRML 9章や10章の数式の解説ノート。10章の大変な計算も丁寧に展開してある。 4/10 の C.M.ビショップ「パターン認識と機械学習(PRML)」読書会 #13＠サイボウズ・ラボに参加しました。各位お…

2010-04-10

PRML 読書会 #13 「10.2 変分混合ガウス分布」資料(2)

機械学習読書会 PRML 変分ベイズ

「パターン認識と機械学習」(PRML)読書会 #13 で担当する 10.2.1「変分事後分布」の資料の後半です。その１はこちら。負担率 r_nk を求める q^*(π_k,μ_k,Λ_k) を推定したので、ρ(z_nk) の各項を計算できる。(B.21)より ψ(・) はディガンマ関数 (B.25) (B.81…

2010-04-09

「Web を支える技術」出版！　記念トークセッション行ってきた

REST

最近はすっかり機械学習なブログだが、何を隠そう実は @yohei さんの大ファン。このブログにも以前は REST の話もちょっこりあったり無かったり。 twitter のアイコンは、ひそかに REST に由来するものだったり。そんな n_shuyo としては、@yohei さんの「…

2010-04-07

C++ でお手軽乱数(boost::random のラッパー)

C++ Boost

C++ で乱数、特に正規乱数とか欲しいなあ。 rand() 関数は使っちゃダメ！絶対！ということらしいので、boost::random を使ってみた。が、なんでちょこっと乱数が欲しいくらいでそんなややこしいコード書かないといけないの！？と、キレたくなるほど複雑…

2010-04-06

PRML 読書会 #13 「10.2 変分混合ガウス分布」資料(1)

機械学習読書会 PRML 変分ベイズ

「パターン認識と機械学習」(PRML)読書会 #13 で担当する 10.2「変分混合ガウス分布」と 10.2.1「変分事後分布」の資料です。その２はこちら。 10.1 で述べた変分ベイズ近似(Variational Bayesian)を混合ガウス分布の推論に適応する例を見る。X = {x_n} : 観…

2010-04-02

Boost uBlas の疎行列で値がセットされているか判定

C++ Boost

Boost uBlas で、mapped_matrix に値が入っているかどうかは find_element メソッドでわかる。 typedef boost::numeric::ublas::mapped_matrix<int> Matrix; const int N=3; Matrix m(N,N); m(0,2) = 0; m(1,0) = 2; m(2,1) = 1; std::cout << m << std::endl; fo</int>…

2010-04-01

SVD/LSI の手触りチュートリアル

機械学習 IR

"Introduction to Information Retrieval" の１８章に従って SVD(Singular Value Decomposition) と LSI (Latent Semantic Indexing) を試した。といっても、原理は線形代数で固有値とか計算したことある人にはシンプルな話だし、実装は世にいくつもあるか…

2010-03-17

NLP2010 行ってきた

自然言語処理言語処理学会

ほとぼりがさめた頃に NLP2010(言語処理学会年次大会) にのこのこ行ってきた話など。参加したのは、 3/8 のチュートリアルと、3/10 のポスターセッション(午後)。チュートリアル午前はどちらも興味あったが、ちょうど協調フィルタ周りでいろいろ試してい…

2010-03-09

多次元混合ガウス分布での incremental EM 更新式

機械学習 EMアルゴリズム

計算してみた。が、Σの式、ちょっと自信がないから実装する前に晒しとく。 [2010/03/15] Σの更新式が間違っていたので訂正(今度も絶対あってる自信はないが) x_m について更新するとき、 E step M step とおくと

2010-03-09

PRML 読書会 #12 ９章ＥＭアルゴリズム＆１０章変分ベイズ

機械学習読書会 PRML EMアルゴリズム

参考：「機械学習とパターン認識」(PRML)のアンチョコ by herumi PRML 9章や10章の数式の解説ノート。10章の大変な計算も丁寧に展開してある。 3/7 の C.M.ビショップ「パターン認識と機械学習(PRML)」読書会 #12＠サイボウズ・ラボに参加しました。各位お…

2010-03-06

変分ベイズ実装(PRML 10.2)

機械学習 R PRML 変分ベイズ

「Old Faithful の推論を K-means と EM について、Ｒで実装」の続き。【追記】実装にバグが見つかり、この記事の末尾の「うまく縮退しない」は間違いでした。→フォロー記事へ PRML １０章、変分推論(変分ベイズ)がいまいちわからない。観測＆隠し変数のハ…

2010-03-04

EM アルゴリズム実装(勉強用)

機械学習 R PRML

最近忙しくて*1、PRML の予習が滞り中。しかし、次の PRML 読書会に徒手空拳で行ったら、気持ちよく昇天してしまいそうなので、なんとか頑張って読んでみる。 EM アルゴリズムは何となくわかるが、変分ベイズがわからん……というわけで、Old Faithful の混合…

2010-02-08

「パターン認識と機械学習」(PRML)読書会 #11 + R で K-means

機械学習読書会 R PRML

2/6 に「パターン認識と機械学習」(PRML)読書会 #11 ＠サイボウズ・ラボにのこのこ行ってきました。お疲れ様＞各位今回は８章「グラフィカルモデル」の後半＋９章の K-means まで。 sum-product(積和アルゴリズム) や max-sum で、グラフィカルモデルが周…

2010-02-05

iVoca で単語の難易度を取得する API を試験リリース(項目反応理論)

iVoca IRT

英単語タイピングゲーム iVoca にて、単語の難易度を取得する API を試験的に提供開始しました。 http://ivoca.31tools.com/api/wordlevel?word=[単語] にアクセスすると、単語の難易度データを JSON 形式で返します指定できる単語は言語に寄りません。英語…