これは「PRMLガール 〜 文芸部のマネージャーが「パターン認識と機械学習」を読んだら 〜」の幕間的なお話です。 未読の方は先にそちらをどうぞ。 PRMLガール 〜 文芸部のマネージャーが「パターン認識と機械学習」を読んだら 〜 - 木曜不足 「先輩、先輩。…

毎週決まった平日の夜に 「機械学習とパターン認識」(PRML) を読み進めようという PRML Wednesday のキックオフにのこのこ顔を出してきた。主催の naoya_t さん＆参加者のみなさん、お疲れ様でした＆ありがとうございました。 PRML-Wednesday : ATND ほとん…

下巻で一番大切な一文は p73 の「グラフはリンクが存在しないことをもって分布のクラスの性質に関する情報を表現する」やねんって儂が言わんかったら誰が言うてくれるねん！ という使命感に思わず燃えてしまう PRML 第8章「グラフィカルモデル」(半分嘘)。 …

7/21 開催の PRML(パターン認識と機械学習) 読書会 復々習レーンにのこのこ参加してきました。主催者、発表者、参加者、そして会場を提供してくださったニフティさん、お疲れさまでした＆ありがとうございました。 PRML復々習レーン #12 : ATND なんか Tokyo…

放課後の学食は、普段なら常時腹を空かせた運動部の連中があちこちにたむろっているのだが、今日は珍しく先客は一人きりだった。 静かな様子にほっとしたカズは、まったり休憩でもしようとジュースを片手に奥の目立たない席を目指す。が、学食で筆記用具を広…

ジュンク堂池袋本店にて 10/11 に行われた「パターン認識と機械学習」(PRML) 愛好家の集まり、じゃあなかった、トークセッションにのこのこ行ってきた、ばかりか前でしゃべってきた。ありがとうございました＆お疲れ様でした＞各位 PRML同人誌 『パターン認…

機械学習の定番教科書の1つと言われ、各地で読書会が開かれる「パターン認識と機械学習」(PRML)。読み解くにはある程度の解析と線形代数の知識が必要なため、数学が苦手な学生さんや××年ぶりに数式を目にしたというエンジニアたちを次々と「式変形できない………

数式をnumpyに落としこむコツ View more presentations from Shuyo Nakatani という発表を Tokyo.SciPy #2 でさせてもらったのだが、発表＆資料作成の時間の関係で、実際に数式を解釈する例を2つしか入れられなかったのが残念なところ。 今、社内 PRML 読書…

@shuyo: 社内PRML読書会。今日はHMMの最尤推定。EMAによる導出部分がムダに天下りすぎる。Mステップの対数同時分布の期待値の計算に必要な事後分布の統計量E[z_nk]をγ_nkとおくと、1-of-Kゆえγ_nk=p(z_nk=1|X)がわかる、って流れの方が自然だと思うんだが。2…

次回から社内 PRML 読書会が 11章「サンプリング法」に突入予定。 昔(と言っても1年前)、自分が初読の時にあれこれ試した記録も参照してもらってて、光成さんからいろいろツッコミをもらう。 PRML 11章の重点サンプリングと SIR を試す http://d.hatena.ne.j…

社内で「機械学習とパターン認識」(PRML) の読書会をやっているのだけど、計算がやっぱり難しいようでみんな苦戦中。 そんなこんなで、光成さん(@herumi さん)が PRML の数式を手抜き無しで解説するアンチョコ(虎の巻 / PRML教科書ガイド)をマメに作ってくれ…

ロジスティック回帰＋確率的勾配降下法 - 木曜不足 前回に続いて、ロジスティック回帰で遊ぶ。 まだ線形の特徴量しか試していなかったので、二次項や RBF (距離に基づく特徴)も追加し、イテレーションももっとたくさん行うようにし、また初期値や学習順によ…

次やってみたいことにロジスティック回帰を使おうとしているので、PRML 4章に従ってさらっと実装してみる。 最終的には Python + numpy で実装し直すことになると思うけど、R の手触り感が好きなので、今回は R。 データセットには R なら簡単に扱える iris …

ラプラスくんも先日の記事を読んで、「 tail-to-tail は観測されてないときには非独立で、観測されたら独立になる」ことを例を作って確かめようと思いました。 「 a は普通によくあるサイコロにして、b はその目を 2 で割ったあまり、c は 3 で割ったあまり…

ベイズくんは昨日の記事を読んで、head-to-tail で「観測されてないときには非独立で、観測されたら条件付き独立になる例」を作ってみようと思いました。 「よーし head-to-tail だから、10本中3本が当たりのくじの中から引いた1本目を a、続けて引いた2本目…

PRML 8.2章「条件付き独立性」では、 head-to-head の場合は「観測されると遮断が解かれる(つまり一般に条件付き独立性を持たない)」という現象の例として「車の燃料装置」が紹介されている。この例はこの例で悪くはないと思うが、ちょっと実感しにくい。 ち…

昨日の記事を書いて、そういえば「パターン認識と機械学習」(以下 PRML) 上巻については「やってみた」「試してみた」系の記事をまとめページを作っていたことを思い出した。 PRML 読んでやってみた（上巻編） http://d.hatena.ne.jp/n_shuyo/20100505/prml …

社内でやってる PRML 読書会が4章に入って、Fisher の線形判別分析(LDA)とかをちょうどやっつけたところ。 4.1.5 で Fisher's LDA と「最小二乗との関連」をわざわざ述べているのはどうして？ というあたりで、最小二乗と互換性があるということはそれだけで…

ディリクレ分布のハイパーパラメータは a_i > 0 なのだけど、a_i = 0 の場合はその要素が縮退したと考えることが出来るよ〜的なことを Furguson の論文で見た覚えがあったので、社内での PRML 勉強会でそれをちらっと言ってみたら、ちゃんと証明してくれない…

9/5 の「パターン認識と機械学習」(PRML)読書会に のこのこ参加してきました。 昨年の6月から参加してきた PRML読書会も、17回目の今回で最終回。ほんとお疲れ様でした＞各位。 今回は13章後半の線形動的システム(LDS, カルマンフィルタ)から、14章の終わり…

PRML 13章読んで、隠れマルコフモデルを実装してみた。今回は Python + numpy の習作も兼ねている。 http://github.com/shuyo/iir/blob/master/sequence/hmm.py 今回実装してみたアルゴリズムは以下の通り。数字は PRML の章番号。 まあなんて盛りだくさん。…

ハイブリッドモンテカルロ試してみた。 - Mi manca qualche giovedi`? の続き。 PRML 読書会 #15の真っ最中に取り急ぎで書き散らかしたコードだったので、Metropolis-Hastings で決まる棄却もやってないし、もうちょっと別の確率分布でも試してみたい。 とい…

毎度 「パターン認識と機械学習(PRML)」 読書会 #15(6/6開催＠ＥＣナビさん) に のこのこ行ってきた。 おつかれさまでした＞各位。今回は 11章の残り（ハイブリッドモンテカルロ）と12章の主成分解析(12.3 まで)。 自然言語処理とはどちらもあんまり近くない…

PRML読書会でなんかうまくいかない的な話になったので、ちょっと書いてみた。 p(z) = N(0,1) としている。 # Hybrid Monte Carlo sampling N <- 1000; # number of sampling leapfrog_count <- 100; leapfrog_epsilon <- 0.01; # p(z) = N(0,1) = exp(-z^2/2…

「パターン認識と機械学習」(PRML)読書会 #15 の 12.2.1「最尤法による主成分分析(確率的主成分解析)」と 12.2.2 「EMアルゴリズムによる主成分分析」の必要最小限の補足資料です。資料本体は超手抜き仕様の予定。 確率的主成分解析(PPCA)の嬉しいところ 多…

「パターン認識と機械学習」(PRML)読書会 #15 で担当する 12.3「カーネル主成分解析」の資料です。 カーネルちょび復習(PRML６章) カーネル関数: 対称な半正定値関数 k(x, x') 特徴ベクトル φ(x) から作る: カーネル関数から φ(x) を得ることも(双対性) φ(x)…

月曜日はPCA、火曜日は確率的PCA、水曜日はPCA with EMアルゴリズム、木曜日はベイズPCA、と続いてきた「日刊☆主成分解析」も今日で最終回。 いよいよカーネル主成分分析(kernel PCA)。 カーネル PCA は非線形な特徴ベクトルで特徴空間にデータを移したとこ…

はてなダイアリーがリニューアルしたらしいので、R で主成分分析を実装してみよう。 PCA を試す、PPCA を試す、EMアルゴリズムでPCAを解く、まで済んだので、次はベイズ的主成分分析。 コード全体は github にて。 http://github.com/shuyo/iir/blob/master/…

PCA を試す、PPCA を試す とくると、次は確率的主成分分析を EM アルゴリズムで解いてみよう。今回も R で実装。 さすがにそろそろコードが長くなってきたので、全体は github にて。 http://github.com/shuyo/iir/blob/master/pca/ema.r E-step と M-step …

PCAを試す に続いて確率的主成分分析(Probability Principal Component Analysis)。 解析的に解けてしまって、閉形式の解がわかっているので実装としてはたいしておもしろくない(いや、いいことなんですけどね)。 M <- 2; directory <- "."; argv <- command…