PRML 8.2章「条件付き独立性」では、 head-to-head の場合は「観測されると遮断が解かれる(つまり一般に条件付き独立性を持たない)」という現象の例として「車の燃料装置」が紹介されている。この例はこの例で悪くはないと思うが、ちょっと実感しにくい。
ちょうど社内 PRML 読書会でここにさしかかったので、以前このブログでもさらっと書いたもう少しわかりやすい例を紹介してみた。
設定として、確率変数 a, b は(理想的な)サイコロを振って出る目、c はその和、d は和の偶奇(つまり丁半)とする。
何も観測されていない場合、各目の出る確率は 1/6。
一方、今 d が偶数(丁)であると観測されたとしよう。このとき、もし a と b が given d の元で条件付き独立ではないとは p(a|b, d) ≠ p(a|d) が成り立つことなので、それを確認しよう。
p(a|d=偶数) は任意の a に対して 1/6 になる。「え？ そうなの？」と言う人は次の表を見て考えて(○は和が偶数)。
| a＼b | 1 | 2 | 3 | 4 | 5 | 6 |
|---|---|---|---|---|---|---|
| 1 | ○ | × | ○ | × | ○ | × |
| 2 | × | ○ | × | ○ | × | ○ |
| 3 | ○ | × | ○ | × | ○ | × |
| 4 | × | ○ | × | ○ | × | ○ |
| 5 | ○ | × | ○ | × | ○ | × |
| 6 | × | ○ | × | ○ | × | ○ |
一方 p(a|b=1, d=偶数) は a=1,3,5 のとき 1/3, a=2,4,6 のとき 0 となる。したがって p(a|b, d) ≠ p(a|d)。
これなら謎の燃料装置で「ほら、0.257 と 0.111 で違うでしょ」と言われるよりずっと実感しやすいし、head-to-head の子孫が縛られたときも独立性が失われる例にもなっている。
あと、PRML p87 では、tail-to-tail で独立性が「一般には」言えないことを主張するのに謎の計算をして「頑張ったけど無理だったから独立性はないよ(信じて！)」という稚拙ってレベルじゃあねーぞな、全くふがいない流れになっているが、こここそ反例を一つあげればいいだけの話。
上のような感じで自分で実例を考えてみると、訓練にもなるし確実に理解できるのでおすすめ。
