PRML
最近論文読んでばかりでさすがにちょっと飽きてきたので、コードでも書いてみよう。 「パターン認識と機械学習」(PRML) 12章は「連続潜在変数」、要は「主成分分析」(Principal Component Analysis)。 本文中で使用されている Oil Flow データは、PRML サポ…
すっかり Tsukuba.R と後先になったけど、5/8 に開催された PRML マラソン、じゃあなかった、読書会 #14 に毎度ながら のこのこ参加。 参加者各位、会場提供してくださった EC ナビさん、大変遅い時間までお疲れ様でした＆ありがとうございました。 今回は 1…
iVoca は上から降ってくる英単語をどんどんタイピングして憶えるゲーム。 降ってくる単語は単純なランダムではなくて、ユーザが苦手な単語は何度も出てくるけど、得意な単語はあまり出題しないようになっている。 具体的には、各単語ごとの修得度を持ってい…
引き続き「パターン認識と機械学習」(PRML) 11章予習中。 Gibbs サンプリング、これはもう試してみるしか。 syou6162 さんが試してはるの( http://d.hatena.ne.jp/syou6162/20090115/1231965900 )をなぞるだけでもいいんだけど、せっかくだから多次元一般化…
PRML 11章の予習中。 p(z) = Gamma(3, 1) について、 E[ln z] を求めよう。 まずは「正解」。 PRML Appendix B を見ると、Gam(tau | a,b) に対して、E[ln tau] = ψ(a) - ln b とある(ψはディガンマ関数)。 R なら簡単に計算できる。 > digamma(3) - log(1) […
今までに書いた「 PRML を読んで、やってみた」系の記事をまとめてみた。何か参考になれば幸い。 根本的にとても疑り深い人(教科書の類に対しては特に)なので、「こんなん書いてあるけど、ほんまかいな〜？」という姿勢が目立つ。 また、よく「手触り」とい…
「パターン認識と機械学習(PRML)」10.2 章に従って変分ベイズ(Variational Bayes, VB)を R で実装してみて、PRML に書いてある内容通りか確認してみたところ、なんか違う。 「『変分混合ガウス分布は、余った混合要素は勝手にゼロになるから K が大きくても…
やっぱりまじめに実装して確認しないと、ということで PRML 10.2.2 の変分下界の膨大な式、つまり (10.71)+(10.72)+(10.73)+(10.74)-(10.75)-(10.76)-(10.77) を変形＆整理していったら、打ち消しあって消えて消えて、残ったのはたったこれだけ。 \tilde{π} …
この前の「パターン認識と機械学習(PRML)」読書会の後の懇親会で、「いや、機械学習は PRML が初めてで、読み始める前はガウス分布も共役事前分布も何それおいしいの？ だったよ〜」と話して驚かれたことに驚いたのだが、でも本当にその通りなのだ。 PRML 読…
参考：「機械学習とパターン認識」(PRML)のアンチョコ by herumi PRML 9章や10章の数式の解説ノート。10章の大変な計算も丁寧に展開してある。 4/10 の C.M.ビショップ「パターン認識と機械学習(PRML)」読書会 #13＠サイボウズ・ラボ に参加しました。各位お…
「パターン認識と機械学習」(PRML)読書会 #13 で担当する 10.2.1「変分事後分布」の資料の後半です。その１はこちら。 負担率 r_nk を求める q^*(π_k,μ_k,Λ_k) を推定したので、ρ(z_nk) の各項を計算できる。(B.21)より ψ(・) はディガンマ関数 (B.25) (B.81…
「パターン認識と機械学習」(PRML)読書会 #13 で担当する 10.2「変分混合ガウス分布」と 10.2.1「変分事後分布」の資料です。その２はこちら。 10.1 で述べた変分ベイズ近似(Variational Bayesian)を混合ガウス分布の推論に適応する例を見る。X = {x_n} : 観…
参考：「機械学習とパターン認識」(PRML)のアンチョコ by herumi PRML 9章や10章の数式の解説ノート。10章の大変な計算も丁寧に展開してある。 3/7 の C.M.ビショップ「パターン認識と機械学習(PRML)」読書会 #12＠サイボウズ・ラボ に参加しました。各位お…
「Old Faithful の推論を K-means と EM について、Ｒで実装」の続き。 【追記】実装にバグが見つかり、この記事の末尾の「うまく縮退しない」は間違いでした。→フォロー記事へ PRML １０章、変分推論(変分ベイズ)がいまいちわからない。 観測＆隠し変数のハ…
最近忙しくて*1、PRML の予習が滞り中。 しかし、次の PRML 読書会に徒手空拳で行ったら、気持ちよく昇天してしまいそうなので、なんとか頑張って読んでみる。 EM アルゴリズムは何となくわかるが、変分ベイズがわからん……というわけで、Old Faithful の混合…
2/6 に 「パターン認識と機械学習」(PRML)読書会 #11 ＠サイボウズ・ラボに のこのこ行ってきました。お疲れ様＞各位 今回は８章「グラフィカルモデル」の後半＋９章の K-means まで。 sum-product(積和アルゴリズム) や max-sum で、グラフィカルモデルが周…
「パターン認識と機械学習」(PRML)読書会 #11 で担当する 8.4.5「max-sum アルゴリズム」の資料です。 8.4.5 max-sum アルゴリズム 8.3 まで モデルを表現するツールとしてグラフィカルモデルを使う 8.4 以降、周辺化や同時分布の大域最大解を求めるツールと…
というわけで PRML 読書会 第10回 にも参加。 関係各位お疲れ様でした。 今回の第８章「グラフィカルモデル」は、最低限の必須前提知識が「確率の加法・乗法定理」だけ*1、計算式もほとんど無い(積分の具体的な計算は皆無！)。 途中参加するならココしか！ …
PRML 読書会 第９回＠サイボウズ・ラボに会場係 兼 Chapter 7.2 担当として参加。 って、もう１ヶ月以上も前のことなので、簡単に。 RVM は名前を SVM に似せているだけの全く別物。むしろ線形回帰。「使われてるとしても、他の名前なんちゃう？」「あれ？ R…
「パターン認識と機械学習」(PRML)読書会 #9 で担当する 7.2 章の資料です。 いつもついつい資料を作り込んでしまってたけど、今回は念願の「資料はアジェンダ＋疑問点のまとめ」「板書メイン」になる予定。 7.2 関連ベクトルマシン SVM(support vector mach…
毎度おなじみ 「パターン認識と機械学習」(PRML)読書会 #8 に のこのこ行ってきた。 お疲れ様でした＞各位。 会場が陸の孤島(!)だったので自転車かついで行ったら、前々日くらいまでは晴れの予報だったのに、夕方から雨になって……とほほ。 気を取り直して。 …
PRML 読書会 #8 が来週に迫る中。 カーネル法わからん…… ガウス過程わからん…… そもそも今回の会場無事たどり着けるかな…… ３つめの不安はとりあえず置いといて、わからんときは手を動かすしかない。 というわけで PRML 6.4.2 「ガウス過程による回帰」を R …
おなじみ 「パターン認識と機械学習」(PRML) の読書会の第7回が 10/3 にあったので、のこのこ行ってきた。 関係各位お疲れ様でした。 5.7 章「ベイズニューラルネットワーク」を担当した。 資料は その１ と その２ と その３。 ちょっと予習時間が足りなく…
これは パターン認識と機械学習(PRML)読書会 #7 (5章 ニューラルネットワーク 後半) での発表用の資料「5.7 ベイズニューラルネットワーク」です(作成中)。 はてＰ でプレゼン資料になります。 細かい説明/計算やサンプルは読書会にて板書します。 資料その…
これは パターン認識と機械学習(PRML)読書会 #7 (5章 ニューラルネットワーク 後半) での発表用の資料「5.7 ベイズニューラルネットワーク」です。 はてＰ でプレゼン資料になります。 細かい説明/計算やサンプルは読書会にて板書します。 資料その１ 資料そ…
これは パターン認識と機械学習(PRML)読書会 #7 (5章 ニューラルネットワーク 後半) での発表用の資料「5.7 ベイズニューラルネットワーク」です(作成中)。 はてＰ でプレゼン資料になります。 論文読むときに役立つよう、用語は英語で書いたりしてます。細…
パターン認識と機械学習(PRML) Hackathon #1 という、集まって各自思い思いに好きなものを作る（ん？）*1という Hackathon があったので、のこのこ行ってきた。 せっせと実装して、 19時くらいから各自の作ったものを軽く発表。 PRML に直接関係ないことをや…
書くの忘れてたので、さらっと。 8/29 に「パターン認識と機械学習(PRML)」読書会 #6 があった。 関係各位お疲れ様でした。 今回は§5.1〜5.4 のニューラルネットワーク前半。 PRML５章は、他の章と比べても、読むと実装してみたくてうずうずくる度 max なの…
「パターン認識と機械学習(PRML)」５章の勉強して、ニューラルネットワーク実装してみたくならんかったらヤバいよね、ってくらい実装してみろオーラが出てたので、書いた。 少し汎用的に作ってみたかったので、R ではなく Ruby。http://github.com/shuyo/iir…
参考：[http //d.hatena.ne.jp/n_shuyo/20110722/prml:title=「機械学習とパターン認識」(PRML)のアンチョコ by herumi]:PRML 4章の数式の解説。特にロジスティック回帰の難しいところなども詳細に書かれている。 8/8 に パターン認識と機械学習(PRML)読書会…
