毎度 「パターン認識と機械学習(PRML)」 読書会 #15(6/6開催＠ＥＣナビさん) に のこのこ行ってきた。 おつかれさまでした＞各位。今回は 11章の残り（ハイブリッドモンテカルロ）と12章の主成分解析(12.3 まで)。 自然言語処理とはどちらもあんまり近くない…

「パターン認識と機械学習」(PRML)読書会 #15 の 12.2.1「最尤法による主成分分析(確率的主成分解析)」と 12.2.2 「EMアルゴリズムによる主成分分析」の必要最小限の補足資料です。資料本体は超手抜き仕様の予定。 確率的主成分解析(PPCA)の嬉しいところ 多…

「パターン認識と機械学習」(PRML)読書会 #15 で担当する 12.3「カーネル主成分解析」の資料です。 カーネルちょび復習(PRML６章) カーネル関数: 対称な半正定値関数 k(x, x') 特徴ベクトル φ(x) から作る: カーネル関数から φ(x) を得ることも(双対性) φ(x)…

月曜日はPCA、火曜日は確率的PCA、水曜日はPCA with EMアルゴリズム、木曜日はベイズPCA、と続いてきた「日刊☆主成分解析」も今日で最終回。 いよいよカーネル主成分分析(kernel PCA)。 カーネル PCA は非線形な特徴ベクトルで特徴空間にデータを移したとこ…

はてなダイアリーがリニューアルしたらしいので、R で主成分分析を実装してみよう。 PCA を試す、PPCA を試す、EMアルゴリズムでPCAを解く、まで済んだので、次はベイズ的主成分分析。 コード全体は github にて。 http://github.com/shuyo/iir/blob/master/…

PCA を試す、PPCA を試す とくると、次は確率的主成分分析を EM アルゴリズムで解いてみよう。今回も R で実装。 さすがにそろそろコードが長くなってきたので、全体は github にて。 http://github.com/shuyo/iir/blob/master/pca/ema.r E-step と M-step …

PCAを試す に続いて確率的主成分分析(Probability Principal Component Analysis)。 解析的に解けてしまって、閉形式の解がわかっているので実装としてはたいしておもしろくない(いや、いいことなんですけどね)。 M <- 2; directory <- "."; argv <- command…

最近論文読んでばかりでさすがにちょっと飽きてきたので、コードでも書いてみよう。 「パターン認識と機械学習」(PRML) 12章は「連続潜在変数」、要は「主成分分析」(Principal Component Analysis)。 本文中で使用されている Oil Flow データは、PRML サポ…