「パターン認識と機械学習(PRML)」 読書会 #10 (8章 グラフィカルモデル 前半)


というわけで PRML 読書会 第10回 にも参加。
関係各位お疲れ様でした。


今回の第8章「グラフィカルモデル」は、最低限の必須前提知識が「確率の加法・乗法定理」だけ*1、計算式もほとんど無い(積分の具体的な計算は皆無!)。
途中参加するならココしか!


グラフィカルモデルは、漠然と語っていたモデルの特徴を可視化するためもの。
具体的には、

  • モデルの自由度を制御
    • パラメータを共有して減らす
    • 潜在変数や「ハイパーパラメータの超事前分布」(ハイパーハイパーパラメータ?w)を導入する
  • 条件付き独立性の有無を判別
    • 有効分離とか「弁明」とか

などが紹介されている。


グラフィカルモデルで(たぶん)一番ややこしいのは、PRML の 73ページに書いてあるとおり「グラフはリンクが存在しないことをもって分布のクラスの性質に関する情報を表現する」ということだろう。
つまり「線がつながっている」ことはその2つの確率変数の間の関連の有無を全く保証しておらず(有るかもしれないし無いかもしれない)、逆に「線がつながっていない」なら確率変数間に関連がないことが確定。
わかりやすくしようとしたのか、 94ページでは「グラフをある種のフィルタとみなしてみよう」とか言いだして、かえって混乱を呼んでいる(苦笑)。


「弁明」現象(sleepy_yoshi さんはその名前に大いに不満のようだが、個人的にはむしろ「回帰」の方をなんとかしてほしいw)はおもしろい。
89 ページからの燃料装置の例はこれでももちろん十分わかりやすかったが、a と b をそれぞれサイコロの目、c はその和、d は半丁(和が偶数か奇数か)、という確率変数とおけば、「前提条件無しなら a,b 独立。c を縛れば従属(=遮断が解かれる)。d を縛ってもやっぱり従属」ということが直感的にわかって嬉しいんじゃあないかと。何の計算もいらない。
ま、計算させたかったんだろうけどね。


終了後、いつものようにごはんを食べようとしたが、居酒屋しか無くて、その流れで PRML 読書会初の飲み会に突入。
ぷるむる で酒が飲めるとは!!!!


次回は 2/6 @同じくサイボウズ・ラボ。グラフィカルモデルの後半。「8.4.5 max-sum アルゴリズム」担当予定。
7.2でもやっちゃった無双っぷりを控えるべく、担当範囲を少なめにしといたよ……

*1:背景や動機の理解には、他の知識もあった方がもちろんいいけどね