PRML 読んでやってみた（上巻編）

PRML 機械学習

今までに書いた「 PRML を読んで、やってみた」系の記事をまとめてみた。何か参考になれば幸い。


根本的にとても疑り深い人(教科書の類に対しては特に)なので、「こんなん書いてあるけど、ほんまかいな〜？」という姿勢が目立つ。
また、よく「手触り」という言葉が出てくる。なんというか、「感触」がわからないと気持ち悪いのだ。基本的な道具類は目をつむっていても使えるのが理想、と言えば、なんとなくでもわかってもらえるだろうか。
あと、言葉使いに無駄に小うるさい(苦笑)。多くの人にとってはどうでもいいところで妙にこだわっているかも。


下巻編はこちら。

１章＆２章

特に実装とかしてない。

実装ではないが、ディリクレ分布でパラメータを0とみなすというのはどういうことか、というあたりを解説してみたもの。9章や10章ではそのへんちょっと出てくるので。

３章　線形回帰モデル

ベイズ線形回帰とそのモデルエビデンスを実装してみた。
まだ R を憶えていなかったので、最初 Excel で試しているのがほほえましいｗ

２章で事前分布とかやったはいいが、ベイズってよくわからん……という人は、３章のベイズ線形回帰を試してみるのが手頃でお勧め。
１章でも、1.2.5〜6 で曲線フィッティングとして同じ事を手短にやっていて、実装を試すだけならそれで足りるんだけど、３章を読んでから試す方がいいと強く思っている。
というのも、PRML 図 3.7、図 3.8 とモデルエビデンスについて、自分の手を実際に動かしながら試しておいたことが、後々何かにつけて役だってくれたという実感があるから。
その点、１章のタイミングではまだろくに道具立てが揃っていないし、周辺情報とも切り離されている。PRML 1.2.5〜6 は、その存在自体に対して「気が早いよ！」と突っ込みを入れたいくらい。

４章　線形識別モデル

４章ではパーセプトロンを試した。


さっきは Excel と R だったが、今度はなんと手計算ｗ
あまりにも簡単な更新式だったので、手でも計算できるんじゃあないか、と思ったら本当に出来てしまった、というお話。

実のところ、「機械学習」という言葉に神秘的で高等な何かを感じている人だったので、このパーセプトロンの更新式の簡素さに衝撃を受けてしまったわけで。


単に試してみた、というのではないが、以下の記事では IRT(項目反応理論) に出てくるロジスティック回帰を確率的勾配法で解いている。

IRLS(反復重み付き最小二乗法)も試したんだけど、ブログには書きそびれている。

最小二乗法による識別とフィッシャーの線形判別による識別がどれくらい違うのか、というあたりを簡単に確認してみたもの。

５章　ニューラルネットワーク

ニューラルネットワーク(多層パーセプトロン) は、これ読んで実装してみたくならないわけないでしょう！　というノリで実装。
ネットワーク構成をいろいろ変えてみたかったので、Ruby DSL でユニットの種類とつながり方を記述できるようにしてみたり。

が。
せっかく柔軟に作ったのに、いろいろな条件で試そうにも実行に一昼夜とか３日とかかかってしまうと、嬉しくない。Ruby では限界あるな〜 orz*1。


というわけで、この後、軽い検証レベルは R で実装(だいぶ慣れてきたので)、大きなデータを食わせていろいろ試してみければ C++ で実装という感じにシフトしていくことに。
C++ 実装は、社内のライブラリを使っちゃっていて、今すぐ公開できないあたりが ちと難点……。

*1:で、変なもの http://d.hatena.ne.jp/n_shuyo/20091023/rxbyak 作ってみようとしたりｗ