R
拙著「わけがわかる機械学習」では、2次の標準正規分布のグラフを平行法で立体視できる図で掲載しています。 平行法を知らない人、知ってても苦手な人には申し訳ないですが、ちょっとした遊び心ということで許してください。人間は右目からと左目からの視差…
どんなデータでも(※)線形分離可能にしてしまう技術，Vanishing Component Analysis(ICML 2013)を紹介してきました - a lonely miner Vanishing Component Analysis を試作してみました – Tech.D-ITlab | Denso IT Laboratory researcher's blog sites 行けな…
以前より一度参加してみたいと思っていた Tokyo.R #22 にのこのこ行ってきた。主催の @yokkuns さん、参加者＆発表者のみなさん、会場を提供してくださったニフティさん、ありがとうございました＆お疲れさまでした。 atnd に LT 募集中とあったので、初参加…
ロジスティック回帰＋確率的勾配降下法 - 木曜不足 前回に続いて、ロジスティック回帰で遊ぶ。 まだ線形の特徴量しか試していなかったので、二次項や RBF (距離に基づく特徴)も追加し、イテレーションももっとたくさん行うようにし、また初期値や学習順によ…
次やってみたいことにロジスティック回帰を使おうとしているので、PRML 4章に従ってさらっと実装してみる。 最終的には Python + numpy で実装し直すことになると思うけど、R の手触り感が好きなので、今回は R。 データセットには R なら簡単に扱える iris …
PRML ４章とかを読んで、ちょっと試しに識別器を実装してみたい！ というとき、初心者的にはデータセットをどこから持ってくるか、そのデータセットをどう使うか、実行結果をどうやってグラフなどに出力するか、といったあたりが悩み。 R はそのへんとてもよ…
月曜日はPCA、火曜日は確率的PCA、水曜日はPCA with EMアルゴリズム、木曜日はベイズPCA、と続いてきた「日刊☆主成分解析」も今日で最終回。 いよいよカーネル主成分分析(kernel PCA)。 カーネル PCA は非線形な特徴ベクトルで特徴空間にデータを移したとこ…
はてなダイアリーがリニューアルしたらしいので、R で主成分分析を実装してみよう。 PCA を試す、PPCA を試す、EMアルゴリズムでPCAを解く、まで済んだので、次はベイズ的主成分分析。 コード全体は github にて。 http://github.com/shuyo/iir/blob/master/…
PCA を試す、PPCA を試す とくると、次は確率的主成分分析を EM アルゴリズムで解いてみよう。今回も R で実装。 さすがにそろそろコードが長くなってきたので、全体は github にて。 http://github.com/shuyo/iir/blob/master/pca/ema.r E-step と M-step …
PCAを試す に続いて確率的主成分分析(Probability Principal Component Analysis)。 解析的に解けてしまって、閉形式の解がわかっているので実装としてはたいしておもしろくない(いや、いいことなんですけどね)。 M <- 2; directory <- "."; argv <- command…
最近論文読んでばかりでさすがにちょっと飽きてきたので、コードでも書いてみよう。 「パターン認識と機械学習」(PRML) 12章は「連続潜在変数」、要は「主成分分析」(Principal Component Analysis)。 本文中で使用されている Oil Flow データは、PRML サポ…
Tsukuba.R #7 行ってきました。主催＆参加者のみなさん、お疲れ様でした。 参加し逃した方も、Ustream にて高画質の録画が見れる。gihyo.jp の高橋さんのＧＪです。ありがとうございました。 自分のＬＴは、書いたとおり Mozk さんの発表とネタもろかぶりし…
前から Tsukuba.R 行ってみたかったけど、予定が合わなかったり、筑波が遠かったりして行けてなかった。 ようやく念願かなって Tsukuba.R #7 にのこのこ参加中。 PRML 読書会と２日連続という家庭内ワークフロー的には難易度高かったんだけどねｗ LT がある…
iVoca は上から降ってくる英単語をどんどんタイピングして憶えるゲーム。 降ってくる単語は単純なランダムではなくて、ユーザが苦手な単語は何度も出てくるけど、得意な単語はあまり出題しないようになっている。 具体的には、各単語ごとの修得度を持ってい…
引き続き「パターン認識と機械学習」(PRML) 11章予習中。 Gibbs サンプリング、これはもう試してみるしか。 syou6162 さんが試してはるの( http://d.hatena.ne.jp/syou6162/20090115/1231965900 )をなぞるだけでもいいんだけど、せっかくだから多次元一般化…
PRML 11章の予習中。 p(z) = Gamma(3, 1) について、 E[ln z] を求めよう。 まずは「正解」。 PRML Appendix B を見ると、Gam(tau | a,b) に対して、E[ln tau] = ψ(a) - ln b とある(ψはディガンマ関数)。 R なら簡単に計算できる。 > digamma(3) - log(1) […
ずいぶん前にできていたのだが、変分ベイズのフォローのために、ブログに書くのを後回しにしてたオンラインＥＭについて。 確率的勾配法など、通常はオンラインの方がバッチより収束が遅い。 が、ＥＭアルゴリズムについては、オンラインの方が収束が速いら…
「Old Faithful の推論を K-means と EM について、Ｒで実装」の続き。 【追記】実装にバグが見つかり、この記事の末尾の「うまく縮退しない」は間違いでした。→フォロー記事へ PRML １０章、変分推論(変分ベイズ)がいまいちわからない。 観測＆隠し変数のハ…
最近忙しくて*1、PRML の予習が滞り中。 しかし、次の PRML 読書会に徒手空拳で行ったら、気持ちよく昇天してしまいそうなので、なんとか頑張って読んでみる。 EM アルゴリズムは何となくわかるが、変分ベイズがわからん……というわけで、Old Faithful の混合…
2/6 に 「パターン認識と機械学習」(PRML)読書会 #11 ＠サイボウズ・ラボに のこのこ行ってきました。お疲れ様＞各位 今回は８章「グラフィカルモデル」の後半＋９章の K-means まで。 sum-product(積和アルゴリズム) や max-sum で、グラフィカルモデルが周…
PRML 読書会 #8 が来週に迫る中。 カーネル法わからん…… ガウス過程わからん…… そもそも今回の会場無事たどり着けるかな…… ３つめの不安はとりあえず置いといて、わからんときは手を動かすしかない。 というわけで PRML 6.4.2 「ガウス過程による回帰」を R …
たまには R のコード書いとかないと忘れる。 ただでさえ R はいろいろ特殊だってのに。 というわけで、勉強中の共役勾配法(conjugate gradient method)を R で書いてみた。といっても、pseudo code をそのまま落とし込んだだけなのだが。しかも線形。 読んで…
前回長くなりすぎて力尽きた「線形回帰のエビデンス」の続き。って今回も むやみに長いんだけど。 パターン認識と機械学習(PRML)読書会 #4 で idojun さんと「バイアス項って要るの？」という話になり。 PRML 3.4〜3.5 のモデルエビデンス使えば評価できるか…
R でベイズ線形回帰の予測分布 にて、初 R しつつ、線形回帰の分布図とか書いてみてたら、idojun さんに「バイアス項は？」とつっこまれた。 うああ、忘れてた！ でもバイアス項ってどれくらい効いてくるの？ 無くてもそれっぽい分布得られちゃったんだけど…
訓練データを１個から２５個まで増やしていったときに、回帰関数と予測分布がどう変化していくかのアニメーション。 正解の も描いとけばよかったかなー。
一番は「やっぱりＲ覚えよう……」としみじみ実感したことかもしれない(苦笑)。 というわけで R 始めました。 同じことやっても仕方ないので PRML 3.3.2 のベイズ線形回帰による予測分布をやってみることに。 とはいえ、昨日インストールして、今日 R-Tips を…
