ちょっと機械学習の比較的有名なモデルやアルゴリズムの初出について年表を作ってみた。 って今週末用の資料なんだけどねｗ 1805 Method of Least Squares 1901 PCA (Principal Component Analysis) 1905 Random Walk -1925 Logistic Regression 1936 Fisher…

「ノンパラメトリック」って言うくらいだからパラメータ無いんかと思ってたら、パラメータめっちゃあるし。 機械学習のネーミングのひどさはこれに始まった話じゃあないけど、それにしたって。 ノンパラの一番素朴なやつ( K-means とか)は本当にパラメータ無…

12/26(日) にサイボウズ/サイボウズ・ラボを会場に NIPS 2010 読み会が開催されました。 おつかれさまでした＆ありがとうございました＞主催の nokuno さん、参加者各位 NIPS 2010 読み会 Nan Ding and S.V.N. Vishwanathan の "t-Logistic Regression" を読…

この記事は NIPS 2010 読み会 用の資料です。 今回読む論文 Ding and Vishwanathan. t-Logistic Regression. NIPS 2010 http://books.nips.cc/papers/files/nips23/NIPS2010_0177.pdf http://www.cs.purdue.edu/homes/ding10/DinVis10.pdf nips.cc にある pa…

この記事は 第３回 自然言語処理勉強会＠東京 のおまけ資料です。 [岡野原+ 2008] 全ての部分文字列を考慮した文書分類 http://ci.nii.ac.jp/naid/110006980330 n-gram と異なり、任意長の部分文字列を素性の候補としたい ただしそのままでは素性数が文章長…

この記事は 第３回 自然言語処理勉強会＠東京 での発表資料です。 EMNLP 2010 (The 2010 Conference on Empirical Methods on Natural Language Processing) の論文を４本＋５本紹介しています。質より数で勝負。 論文を広く浅く読むススメ(仮) 「たまたま手…

第13回情報論的学習理論ワークショップ (IBIS 2010) の2日目にも、のこのこ参加。 またまた簡単なまとめ。敬称略。 発表 今日は「情報理論屋さん」と「理論統計屋さん」のお話。 わかりやすくておもしろいか、さっぱりわからなくておもしろいか、の両極端。 …

東大 生産技術研究所(駒場第２キャンパス)にて、第13回情報論的学習理論ワークショップ (IBIS 2010) があったので、のこのこ参加。 え？ もちろん業務ですとも。 というわけで、とても簡単ながらまとめ。敬称略。 発表 反実仮想モデルを用いた統計的因果推論…

gihyo.jp での機械学習連載の第５回が公開されました。 「機械学習 はじめよう」第4回 正規分布 前編 http://gihyo.jp/dev/serial/01/machine-learning/0004 「機械学習 はじめよう」第5回 正規分布 後編 http://gihyo.jp/dev/serial/01/machine-learning/00…

9/5 の「パターン認識と機械学習」(PRML)読書会に のこのこ参加してきました。 昨年の6月から参加してきた PRML読書会も、17回目の今回で最終回。ほんとお疲れ様でした＞各位。 今回は13章後半の線形動的システム(LDS, カルマンフィルタ)から、14章の終わり…

読んだ自然言語処理や機械学習の論文を twitter でちょこっと紹介してみたりしている。 さらっと手短に書けていい感じ(と勝手に思っている)なのだが、論文名を書く余白がないのと、短いとは言え２個３個の tweet には分離してしまうあたりが減点。 というわ…

gihyo.jp での機械学習連載の第２回が公開されました。 「機械学習 はじめよう」第2回 確率の初歩 http://gihyo.jp/dev/serial/01/machine-learning/0002 今回は確率の話をチマチマしていますが、確率の定義とかそこらへんは結構あっさりで、実は「独立性」…

gihyo.jp で「機械学習 はじめよう」という、機械学習を紹介する連載を始めました。 本日第1回が公開されています。 「機械学習 はじめよう」第1回 機械学習 ことはじめ http://gihyo.jp/dev/serial/01/machine-learning/0001 今回は概要的なお話。次回から…

6/14〜16 にかけて、IBISML と Latent Dynamics 研究会 に のこのこ行ってきた。 招待講演は超豪華顔ぶれ……というのは受け売り。この界隈にまだまだ詳しくないもんで(苦笑)。 「機械学習」が広い分野を横断していることを象徴して、様々な分野のお話が聞けた…

PRML 13章読んで、隠れマルコフモデルを実装してみた。今回は Python + numpy の習作も兼ねている。 http://github.com/shuyo/iir/blob/master/sequence/hmm.py 今回実装してみたアルゴリズムは以下の通り。数字は PRML の章番号。 まあなんて盛りだくさん。…

毎度 「パターン認識と機械学習(PRML)」 読書会 #15(6/6開催＠ＥＣナビさん) に のこのこ行ってきた。 おつかれさまでした＞各位。今回は 11章の残り（ハイブリッドモンテカルロ）と12章の主成分解析(12.3 まで)。 自然言語処理とはどちらもあんまり近くない…

「パターン認識と機械学習」(PRML)読書会 #15 の 12.2.1「最尤法による主成分分析(確率的主成分解析)」と 12.2.2 「EMアルゴリズムによる主成分分析」の必要最小限の補足資料です。資料本体は超手抜き仕様の予定。 確率的主成分解析(PPCA)の嬉しいところ 多…

「パターン認識と機械学習」(PRML)読書会 #15 で担当する 12.3「カーネル主成分解析」の資料です。 カーネルちょび復習(PRML６章) カーネル関数: 対称な半正定値関数 k(x, x') 特徴ベクトル φ(x) から作る: カーネル関数から φ(x) を得ることも(双対性) φ(x)…

すっかり Tsukuba.R と後先になったけど、5/8 に開催された PRML マラソン、じゃあなかった、読書会 #14 に毎度ながら のこのこ参加。 参加者各位、会場提供してくださった EC ナビさん、大変遅い時間までお疲れ様でした＆ありがとうございました。 今回は 1…

iVoca は上から降ってくる英単語をどんどんタイピングして憶えるゲーム。 降ってくる単語は単純なランダムではなくて、ユーザが苦手な単語は何度も出てくるけど、得意な単語はあまり出題しないようになっている。 具体的には、各単語ごとの修得度を持ってい…

引き続き「パターン認識と機械学習」(PRML) 11章予習中。 Gibbs サンプリング、これはもう試してみるしか。 syou6162 さんが試してはるの( http://d.hatena.ne.jp/syou6162/20090115/1231965900 )をなぞるだけでもいいんだけど、せっかくだから多次元一般化…

PRML 11章の予習中。 p(z) = Gamma(3, 1) について、 E[ln z] を求めよう。 まずは「正解」。 PRML Appendix B を見ると、Gam(tau | a,b) に対して、E[ln tau] = ψ(a) - ln b とある(ψはディガンマ関数)。 R なら簡単に計算できる。 > digamma(3) - log(1) […

今までに書いた「 PRML を読んで、やってみた」系の記事をまとめてみた。何か参考になれば幸い。 根本的にとても疑り深い人(教科書の類に対しては特に)なので、「こんなん書いてあるけど、ほんまかいな〜？」という姿勢が目立つ。 また、よく「手触り」とい…

ずいぶん前にできていたのだが、変分ベイズのフォローのために、ブログに書くのを後回しにしてたオンラインＥＭについて。 確率的勾配法など、通常はオンラインの方がバッチより収束が遅い。 が、ＥＭアルゴリズムについては、オンラインの方が収束が速いら…

「パターン認識と機械学習(PRML)」10.2 章に従って変分ベイズ(Variational Bayes, VB)を R で実装してみて、PRML に書いてある内容通りか確認してみたところ、なんか違う。 「『変分混合ガウス分布は、余った混合要素は勝手にゼロになるから K が大きくても…

やっぱりまじめに実装して確認しないと、ということで PRML 10.2.2 の変分下界の膨大な式、つまり (10.71)+(10.72)+(10.73)+(10.74)-(10.75)-(10.76)-(10.77) を変形＆整理していったら、打ち消しあって消えて消えて、残ったのはたったこれだけ。 \tilde{π} …

この前の「パターン認識と機械学習(PRML)」読書会の後の懇親会で、「いや、機械学習は PRML が初めてで、読み始める前はガウス分布も共役事前分布も何それおいしいの？ だったよ〜」と話して驚かれたことに驚いたのだが、でも本当にその通りなのだ。 PRML 読…

参考：「機械学習とパターン認識」(PRML)のアンチョコ by herumi PRML 9章や10章の数式の解説ノート。10章の大変な計算も丁寧に展開してある。 4/10 の C.M.ビショップ「パターン認識と機械学習(PRML)」読書会 #13＠サイボウズ・ラボ に参加しました。各位お…

「パターン認識と機械学習」(PRML)読書会 #13 で担当する 10.2.1「変分事後分布」の資料の後半です。その１はこちら。 負担率 r_nk を求める q^*(π_k,μ_k,Λ_k) を推定したので、ρ(z_nk) の各項を計算できる。(B.21)より ψ(・) はディガンマ関数 (B.25) (B.81…

「パターン認識と機械学習」(PRML)読書会 #13 で担当する 10.2「変分混合ガウス分布」と 10.2.1「変分事後分布」の資料です。その２はこちら。 10.1 で述べた変分ベイズ近似(Variational Bayesian)を混合ガウス分布の推論に適応する例を見る。X = {x_n} : 観…