R

立体視できる図を R で描く

R

拙著「わけがわかる機械学習」では、2次の標準正規分布のグラフを平行法で立体視できる図で掲載しています。 平行法を知らない人、知ってても苦手な人には申し訳ないですが、ちょっとした遊び心ということで許してください。人間は右目からと左目からの視差…

R で Vanishing Component Analysis

どんなデータでも(※)線形分離可能にしてしまう技術,Vanishing Component Analysis(ICML 2013)を紹介してきました - a lonely miner Vanishing Component Analysis を試作してみました – Tech.D-ITlab | Denso IT Laboratory researcher's blog sites 行けな…

Tokyo.R #22 に行ってきた& R で音声合成やってみた

以前より一度参加してみたいと思っていた Tokyo.R #22 にのこのこ行ってきた。主催の @yokkuns さん、参加者&発表者のみなさん、会場を提供してくださったニフティさん、ありがとうございました&お疲れさまでした。 atnd に LT 募集中とあったので、初参加…

ロジスティック回帰でいろんな特徴関数を試す

ロジスティック回帰+確率的勾配降下法 - 木曜不足 前回に続いて、ロジスティック回帰で遊ぶ。 まだ線形の特徴量しか試していなかったので、二次項や RBF (距離に基づく特徴)も追加し、イテレーションももっとたくさん行うようにし、また初期値や学習順によ…

ロジスティック回帰+確率的勾配降下法

次やってみたいことにロジスティック回帰を使おうとしているので、PRML 4章に従ってさらっと実装してみる。 最終的には Python + numpy で実装し直すことになると思うけど、R の手触り感が好きなので、今回は R。 データセットには R なら簡単に扱える iris …

R で識別器を作ってみるのに必要な散布図の書き方・正規化の方法(iris データセットを例に)

PRML 4章とかを読んで、ちょっと試しに識別器を実装してみたい! というとき、初心者的にはデータセットをどこから持ってくるか、そのデータセットをどう使うか、実行結果をどうやってグラフなどに出力するか、といったあたりが悩み。 R はそのへんとてもよ…

PRML 12章 カーネル主成分分析を R で実装(棒読み)

月曜日はPCA、火曜日は確率的PCA、水曜日はPCA with EMアルゴリズム、木曜日はベイズPCA、と続いてきた「日刊☆主成分解析」も今日で最終回。 いよいよカーネル主成分分析(kernel PCA)。 カーネル PCA は非線形な特徴ベクトルで特徴空間にデータを移したとこ…

PRML 12章 ベイズ的主成分分析を R で

はてなダイアリーがリニューアルしたらしいので、R で主成分分析を実装してみよう。 PCA を試す、PPCA を試す、EMアルゴリズムでPCAを解く、まで済んだので、次はベイズ的主成分分析。 コード全体は github にて。 http://github.com/shuyo/iir/blob/master/…

PRML 12章 主成分分析を EM アルゴリズムで解いてみる

PCA を試す、PPCA を試す とくると、次は確率的主成分分析を EM アルゴリズムで解いてみよう。今回も R で実装。 さすがにそろそろコードが長くなってきたので、全体は github にて。 http://github.com/shuyo/iir/blob/master/pca/ema.r E-step と M-step …

PRML 12章 確率的主成分分析を試す

PCAを試す に続いて確率的主成分分析(Probability Principal Component Analysis)。 解析的に解けてしまって、閉形式の解がわかっているので実装としてはたいしておもしろくない(いや、いいことなんですけどね)。 M <- 2; directory <- "."; argv <- command…

PRML 12章 主成分分析を試す(棒読み

最近論文読んでばかりでさすがにちょっと飽きてきたので、コードでも書いてみよう。 「パターン認識と機械学習」(PRML) 12章は「連続潜在変数」、要は「主成分分析」(Principal Component Analysis)。 本文中で使用されている Oil Flow データは、PRML サポ…

Tsukuba.R #7 に参加してきた

R

Tsukuba.R #7 行ってきました。主催&参加者のみなさん、お疲れ様でした。 参加し逃した方も、Ustream にて高画質の録画が見れる。gihyo.jp の高橋さんのGJです。ありがとうございました。 自分のLTは、書いたとおり Mozk さんの発表とネタもろかぶりし…

Tsukuba.R #7 に参加してます

R

前から Tsukuba.R 行ってみたかったけど、予定が合わなかったり、筑波が遠かったりして行けてなかった。 ようやく念願かなって Tsukuba.R #7 にのこのこ参加中。 PRML 読書会と2日連続という家庭内ワークフロー的には難易度高かったんだけどねw LT がある…

スライスサンプリングで単語ごとの出題率に沿って抽出

iVoca は上から降ってくる英単語をどんどんタイピングして憶えるゲーム。 降ってくる単語は単純なランダムではなくて、ユーザが苦手な単語は何度も出てくるけど、得意な単語はあまり出題しないようになっている。 具体的には、各単語ごとの修得度を持ってい…

多変量正規分布をギブスサンプリングで

引き続き「パターン認識と機械学習」(PRML) 11章予習中。 Gibbs サンプリング、これはもう試してみるしか。 syou6162 さんが試してはるの( http://d.hatena.ne.jp/syou6162/20090115/1231965900 )をなぞるだけでもいいんだけど、せっかくだから多次元一般化…

PRML 11章の重点サンプリングと SIR を試す

PRML 11章の予習中。 p(z) = Gamma(3, 1) について、 E[ln z] を求めよう。 まずは「正解」。 PRML Appendix B を見ると、Gam(tau | a,b) に対して、E[ln tau] = ψ(a) - ln b とある(ψはディガンマ関数)。 R なら簡単に計算できる。 > digamma(3) - log(1) […

オンラインEMアルゴリズムで混合ガウス分布推論

ずいぶん前にできていたのだが、変分ベイズのフォローのために、ブログに書くのを後回しにしてたオンラインEMについて。 確率的勾配法など、通常はオンラインの方がバッチより収束が遅い。 が、EMアルゴリズムについては、オンラインの方が収束が速いら…

変分ベイズ実装(PRML 10.2)

「Old Faithful の推論を K-means と EM について、Rで実装」の続き。 【追記】実装にバグが見つかり、この記事の末尾の「うまく縮退しない」は間違いでした。→フォロー記事へ PRML 10章、変分推論(変分ベイズ)がいまいちわからない。 観測&隠し変数のハ…

EM アルゴリズム実装(勉強用)

最近忙しくて*1、PRML の予習が滞り中。 しかし、次の PRML 読書会に徒手空拳で行ったら、気持ちよく昇天してしまいそうなので、なんとか頑張って読んでみる。 EM アルゴリズムは何となくわかるが、変分ベイズがわからん……というわけで、Old Faithful の混合…

「パターン認識と機械学習」(PRML)読書会 #11 + R で K-means

2/6 に 「パターン認識と機械学習」(PRML)読書会 #11 @サイボウズ・ラボに のこのこ行ってきました。お疲れ様>各位 今回は8章「グラフィカルモデル」の後半+9章の K-means まで。 sum-product(積和アルゴリズム) や max-sum で、グラフィカルモデルが周…

PRML6章「ガウス過程による回帰」を R で試す

PRML 読書会 #8 が来週に迫る中。 カーネル法わからん…… ガウス過程わからん…… そもそも今回の会場無事たどり着けるかな…… 3つめの不安はとりあえず置いといて、わからんときは手を動かすしかない。 というわけで PRML 6.4.2 「ガウス過程による回帰」を R …

共役勾配法をRで

たまには R のコード書いとかないと忘れる。 ただでさえ R はいろいろ特殊だってのに。 というわけで、勉強中の共役勾配法(conjugate gradient method)を R で書いてみた。といっても、pseudo code をそのまま落とし込んだだけなのだが。しかも線形。 読んで…

基底関数を色々変えて、線形回帰のエビデンスを計算してみた part 2

前回長くなりすぎて力尽きた「線形回帰のエビデンス」の続き。って今回も むやみに長いんだけど。 パターン認識と機械学習(PRML)読書会 #4 で idojun さんと「バイアス項って要るの?」という話になり。 PRML 3.4〜3.5 のモデルエビデンス使えば評価できるか…

基底関数を色々変えて、線形回帰のエビデンスを計算してみた

R でベイズ線形回帰の予測分布 にて、初 R しつつ、線形回帰の分布図とか書いてみてたら、idojun さんに「バイアス項は?」とつっこまれた。 うああ、忘れてた! でもバイアス項ってどれくらい効いてくるの? 無くてもそれっぽい分布得られちゃったんだけど…

おまけアニメ

訓練データを1個から25個まで増やしていったときに、回帰関数と予測分布がどう変化していくかのアニメーション。 正解の も描いとけばよかったかなー。

R でベイズ線形回帰の予測分布

一番は「やっぱりR覚えよう……」としみじみ実感したことかもしれない(苦笑)。 というわけで R 始めました。 同じことやっても仕方ないので PRML 3.3.2 のベイズ線形回帰による予測分布をやってみることに。 とはいえ、昨日インストールして、今日 R-Tips を…