"Introduction to Information Retrieval" の１８章に従って SVD(Singular Value Decomposition) と LSI (Latent Semantic Indexing) を試した。 といっても、原理は線形代数で固有値とか計算したことある人にはシンプルな話だし、実装は世にいくつもあるか…

計算してみた。 が、Σの式、ちょっと自信がないから実装する前に晒しとく。 [2010/03/15] Σの更新式が間違っていたので訂正(今度も絶対あってる自信はないが) x_m について更新するとき、 E step M step とおくと

参考：「機械学習とパターン認識」(PRML)のアンチョコ by herumi PRML 9章や10章の数式の解説ノート。10章の大変な計算も丁寧に展開してある。 3/7 の C.M.ビショップ「パターン認識と機械学習(PRML)」読書会 #12＠サイボウズ・ラボ に参加しました。各位お…

「Old Faithful の推論を K-means と EM について、Ｒで実装」の続き。 【追記】実装にバグが見つかり、この記事の末尾の「うまく縮退しない」は間違いでした。→フォロー記事へ PRML １０章、変分推論(変分ベイズ)がいまいちわからない。 観測＆隠し変数のハ…

最近忙しくて*1、PRML の予習が滞り中。 しかし、次の PRML 読書会に徒手空拳で行ったら、気持ちよく昇天してしまいそうなので、なんとか頑張って読んでみる。 EM アルゴリズムは何となくわかるが、変分ベイズがわからん……というわけで、Old Faithful の混合…

2/6 に 「パターン認識と機械学習」(PRML)読書会 #11 ＠サイボウズ・ラボに のこのこ行ってきました。お疲れ様＞各位 今回は８章「グラフィカルモデル」の後半＋９章の K-means まで。 sum-product(積和アルゴリズム) や max-sum で、グラフィカルモデルが周…

「パターン認識と機械学習」(PRML)読書会 #11 で担当する 8.4.5「max-sum アルゴリズム」の資料です。 8.4.5 max-sum アルゴリズム 8.3 まで モデルを表現するツールとしてグラフィカルモデルを使う 8.4 以降、周辺化や同時分布の大域最大解を求めるツールと…

英単語タイピングゲーム iVoca で「おすすめブック」機能をリリースしました。 ブック(単語帳)の画面に、そのブックと似ていて、同じユーザが学習しているブックを自動的に表示します。英検の単語を集めたブックには英検の、しかもだいたい同じレベルのもの…

というわけで PRML 読書会 第10回 にも参加。 関係各位お疲れ様でした。 今回の第８章「グラフィカルモデル」は、最低限の必須前提知識が「確率の加法・乗法定理」だけ*1、計算式もほとんど無い(積分の具体的な計算は皆無！)。 途中参加するならココしか！ …

PRML 読書会 第９回＠サイボウズ・ラボに会場係 兼 Chapter 7.2 担当として参加。 って、もう１ヶ月以上も前のことなので、簡単に。 RVM は名前を SVM に似せているだけの全く別物。むしろ線形回帰。「使われてるとしても、他の名前なんちゃう？」「あれ？ R…

「パターン認識と機械学習」(PRML)読書会 #9 で担当する 7.2 章の資料です。 いつもついつい資料を作り込んでしまってたけど、今回は念願の「資料はアジェンダ＋疑問点のまとめ」「板書メイン」になる予定。 7.2 関連ベクトルマシン SVM(support vector mach…

毎度おなじみ 「パターン認識と機械学習」(PRML)読書会 #8 に のこのこ行ってきた。 お疲れ様でした＞各位。 会場が陸の孤島(!)だったので自転車かついで行ったら、前々日くらいまでは晴れの予報だったのに、夕方から雨になって……とほほ。 気を取り直して。 …

PRML 読書会 #8 が来週に迫る中。 カーネル法わからん…… ガウス過程わからん…… そもそも今回の会場無事たどり着けるかな…… ３つめの不安はとりあえず置いといて、わからんときは手を動かすしかない。 というわけで PRML 6.4.2 「ガウス過程による回帰」を R …

おなじみ 「パターン認識と機械学習」(PRML) の読書会の第7回が 10/3 にあったので、のこのこ行ってきた。 関係各位お疲れ様でした。 5.7 章「ベイズニューラルネットワーク」を担当した。 資料は その１ と その２ と その３。 ちょっと予習時間が足りなく…

これは パターン認識と機械学習(PRML)読書会 #7 (5章 ニューラルネットワーク 後半) での発表用の資料「5.7 ベイズニューラルネットワーク」です(作成中)。 はてＰ でプレゼン資料になります。 細かい説明/計算やサンプルは読書会にて板書します。 資料その…

これは パターン認識と機械学習(PRML)読書会 #7 (5章 ニューラルネットワーク 後半) での発表用の資料「5.7 ベイズニューラルネットワーク」です。 はてＰ でプレゼン資料になります。 細かい説明/計算やサンプルは読書会にて板書します。 資料その１ 資料そ…

これは パターン認識と機械学習(PRML)読書会 #7 (5章 ニューラルネットワーク 後半) での発表用の資料「5.7 ベイズニューラルネットワーク」です(作成中)。 はてＰ でプレゼン資料になります。 論文読むときに役立つよう、用語は英語で書いたりしてます。細…

まずは iVoca のデータを使って自分で IRT で計算してみるところからかな。 というわけで、ユーザの学習履歴から単語の難易度を求めるコードを書いてみた。 ソーシャルっぽい！ 残念ながら IRT(項目反応理論) について書かれた文献を持っていないのだが、id:…

パターン認識と機械学習(PRML) Hackathon #1 という、集まって各自思い思いに好きなものを作る（ん？）*1という Hackathon があったので、のこのこ行ってきた。 せっせと実装して、 19時くらいから各自の作ったものを軽く発表。 PRML に直接関係ないことをや…

PRML Hackathon #1 参加中。 はやくもプチ煮詰まり中(ぉぃ)。 Ruby で書いている人は他にいなさそうだが、気晴らしに Ruby で MNIST データを扱うためのコード片を さらしてみる。 require 'zlib' n_rows = n_cols = nil images = [] labels = [] Zlib::Gzip…

ニューラルネットワーク作ってみた と XOR 学習させてみた の続き。 まず、ニューラルネットワークのエンジンをバージョンアップ。 誤差関数を選べるようにした。 逆伝播を実装。数値微分と逆伝播のどちらを使うか選べるように。 #(前略) # network network …

書くの忘れてたので、さらっと。 8/29 に「パターン認識と機械学習(PRML)」読書会 #6 があった。 関係各位お疲れ様でした。 今回は§5.1〜5.4 のニューラルネットワーク前半。 PRML５章は、他の章と比べても、読むと実装してみたくてうずうずくる度 max なの…

PRML 読書会 #6 がありました。皆さんお疲れ様でした。 読書会の内容については、別途。 id:tsubosaka さんに「(ニューラルネットワークの実装で) XOR の学習できました？」と聞かれて「出来るように作ったはずだけど、まだ試してない〜」と答えたので、試し…

「パターン認識と機械学習(PRML)」５章の勉強して、ニューラルネットワーク実装してみたくならんかったらヤバいよね、ってくらい実装してみろオーラが出てたので、書いた。 少し汎用的に作ってみたかったので、R ではなく Ruby。http://github.com/shuyo/iir…

参考：[http //d.hatena.ne.jp/n_shuyo/20110722/prml:title=「機械学習とパターン認識」(PRML)のアンチョコ by herumi]:PRML 4章の数式の解説。特にロジスティック回帰の難しいところなども詳細に書かれている。 8/8 に パターン認識と機械学習(PRML)読書会…

これは パターン認識と機械学習(PRML)読書会 #5 (4章 線形識別モデル) での発表用の資料「4.1.7 パーセプトロン・アルゴリズム」〜「おまけ(PA, CW)」です。 まとめメインで、細かい計算やサンプルは板書する予定です。 4.1.7 パーセプトロンアルゴリズム 参…

これは パターン認識と機械学習(PRML)読書会 #5 (4章 線形識別モデル) での発表用の資料「4.1.3 最小二乗」〜「4.1.6 多クラスにおけるフィッシャー判別」です。 まとめメインで、細かい計算やサンプルは板書する予定です。 【更新】読書会での指摘を反映。 …

これは パターン認識と機械学習(PRML)読書会 #5 (4章 線形識別モデル) での発表用の資料「4.1 識別関数」〜「4.1.2 多クラス」です。 まとめメインで、細かい説明/計算やサンプルは板書する予定。 【更新】読書会での指摘を反映。 PRML 4章 線形識別モデル …

前回長くなりすぎて力尽きた「線形回帰のエビデンス」の続き。って今回も むやみに長いんだけど。 パターン認識と機械学習(PRML)読書会 #4 で idojun さんと「バイアス項って要るの？」という話になり。 PRML 3.4〜3.5 のモデルエビデンス使えば評価できるか…

R でベイズ線形回帰の予測分布 にて、初 R しつつ、線形回帰の分布図とか書いてみてたら、idojun さんに「バイアス項は？」とつっこまれた。 うああ、忘れてた！ でもバイアス項ってどれくらい効いてくるの？ 無くてもそれっぽい分布得られちゃったんだけど…