PRML 読書会 #5(第４章線形識別モデル)

参考：[http: //d.hatena.ne.jp/n_shuyo/20110722/prml:title=「機械学習とパターン認識」(PRML)のアンチョコ by herumi]:PRML 4章の数式の解説。特にロジスティック回帰の難しいところなども詳細に書かれている。

8/8 にパターン認識と機械学習(PRML)読書会 #5 があった。
今回はのこのこ行ってきただけではなく、4.1 の線形識別関数のお話を担当した。
参加者＆関係者各位お疲れ様でした。

読書会で発表に使った資料はこちら。
細かい計算やサンプル(AND 演算を４章の各手法(最小二乗、フィッシャー、パーセプトロン、IRLS)によって学習。あ、でも IRLS は準備だけしてしゃべるの忘れてた)は板書で進めたので、目次とまとめだけ……のはずが意外と長くなってしまった。疲れた。

いろいろ早とちり的に間違っていたところを指摘もらった分は修正済みのはず。
間違っても教えてもらえるのは発表者の特典、ということで*1。

４章はクラス分類のお話。
Pathtraq で Webページのカテゴライズなどを手がけた身としては、最も気になる内容の一つ。
特に Perceptron まわりは先行して読んでいたり、実際に動くものを試作してみたり。
というわけで「 4.1 よろしくね！」と言われてしまったわけだ。ま、逆の立場ならそう言うわぁな。

4.1 は(この本的には特に)「メインストリームではないけど、識別関数も一通りやっておきましょう」な色合いが強く、要するに 4.3 以降のロジスティック回帰の序論っぽい位置づけ。
なので、そのままやるだけではつまらないなあ〜ということで、 Passive Aggresive Algorism や Confidence-Weighted Linear Classification の論文をちょっこり紹介してみたりした。
どちらの論文もおもしろいけど、とりあえず読むなら Passive Aggresive Algorism からかな。Confidence-Weighted には最初の方に PA 出てくるし。

今回も読書会の中で出てきていた疑問議論その他を拾っておく。

Confidence-Weighted ってホントにそんなに収束早いの？　論文では１周目でいきなり 98% とか眉に何か塗りたくなるんだけど(苦笑)。手元のデータ＋岡野原さんの oll で試した範囲では、そんないきなり収束なんてことなくて、CW １周と PA1 １０周だと PA1 が勝ってた(交差確認した方がいいんだろうけど、手が回ってない)。
フィッシャーのクラス(内|間)共分散って要素数で割ってないね。これって訓練データが増えてったらどんどん大きくなる？　なんか気持ち悪いなあ。
式 4.105 の上に『「活性化関数」a_k は』と書いてあるけど、『 a_k が「関数」』って変だよね。原文では activations となってるから「活性 a_k は」じゃあないの？（と、idojun さんが言っていた。自分は原文未確認）
ヘッセ行列って……つまるところ何？　いやまあ２階微分なんだけどね。5.2.2 読むとわかるかもよ。
ロジスティック回帰をベイスの枠組みで考える(§4.5)と、何が嬉しい？　ロジスティック回帰では w の最尤解は発散してしまう(演習 4.14)が、それを自然に抑えられるのかも。それは確かに期待できそうだが、本文中では特にその点には触れられてないな。

前回の読書会で議論になったポイントをまとめておいたところ、コメントにてしましまさんにフォローをいただけて嬉しかった。大感謝。PRML ３章読む人は目を通しとくと色々ふむふむできるかも。

普通の読書会なら、終了後には(本番の)飲み会に突入するところ、さすがはどこまでも硬派な PRML 読書会はロイホに突撃して晩ご飯を食べて、１時間で解散。

いや、本当はさすがにもうちょっとくらいまったりしたかったのだけど。
なんか 4.1 を担当した人が、一節しかないのに一人で３時間もしゃべっていたせいで、読書会終わったの 21時。
そういえばその人は RESTful読書会でも WEwLC読書会でも調子に乗って延々しゃべっていたような気がする。危険人物。

次回は PRML 5.1〜5.4、8/29 が第一候補で調整中。
そういえば今回は参加者が急に倍になってびっくり。何があったんだろう？

読書会で使った「魔法のブックマークレット」はそのうち。→「はてＰ」公開した。
って、CodeRepos にはとっくにあがってるんだけどね。

*1:ちょっと恥ずかしめの間違いが多かった気するけどねー