ベイズの公式は地味に難しいので、確率の乗法公式を2回使おう

ベイズの公式はこんな形をしている。

これは実際に使おうと思ったら、意外と難しい。
例えば PRML (5.164) 式はこうなっている。

$p({\boldsymbol w}|\mathcal{D},\alpha,\beta)\;\propto\;p({\boldsymbol w}|\alpha)p(\mathcal{D}|{\boldsymbol w},\beta)$

これをベイズの公式から出そうとしたら X と Y をどうしたらいいのやら。いや、なんか X と Y に当てはめようがないのもあるぞ。
そもそも「ベイズの公式を正しく憶える」のもなにげにハードルが高い。えーと、X と Y と X|Y と Y|X のどれが上で下で……。

でも、確率の乗法公式を2回使う方法なら、簡単。

まず同時分布を見極める。
上の (5.164) 式の右辺 p([A]|・)p([B]|・) の [A][B] の位置に出てくる変数に注目しておいて欲しい。
同時分布の確率変数は [A] と [B]、つまり w と D であり、残りは given なパラメータ or 変数なので、

がここで注目したい同時分布。

次はこの同時分布を [A] に使われている確率変数 w を使って、乗法公式による分解を考える。

$p({\boldsymbol w},\mathcal{D}|\alpha,\beta)=p(\mathcal{D}|{\boldsymbol w},\alpha,\beta)p({\boldsymbol w}|\alpha,\beta)$

それから、今度は [B] に使われている確率変数 D を使って、同様に分解する。

$p({\boldsymbol w},\mathcal{D}|\alpha,\beta)=p({\boldsymbol w}|\mathcal{D},\alpha,\beta)p(\mathcal{D}|\alpha,\beta)$

この2つの式が等しいので、左辺に求めたい事後分布を持ってくるように変形すると、

$\displaystyle p({\boldsymbol w}|\mathcal{D},\alpha,\beta)=\frac{p({\boldsymbol w}|\alpha,\beta)p(\mathcal{D}|{\boldsymbol w},\alpha,\beta)}{p(\mathcal{D}|\alpha,\beta)}$

これでできあがり*1。簡単。

ベイズ公式では、X や Y に複数の変数が割り当てられるような場合はさらに間違えやすくなるのだが、この方式ならまず問題ない。
お試しあれ。

*1:あと (5.164) 式を出すには w がβによらないとか、D がαによらないとか、p(D|α,β) が w によらないとか考えないといけないけど、それはまた別の話。