2011-05-01から1ヶ月間の記事一覧

どうしてサンプリングで推論できるの？

機械学習 LDA

TokyoNLP #5 で「はじめてのトピックモデル」的なのをやろうと思ってたんだけど、地震とかとかで１ヶ月延びている間に「はじめての生成文法」にすり替わってた。あれー？ で、次回はその後編の予定だし、その次に TokyoNLP 的なところでなんか話す機会をもら…

LDA の Collapsed Gibbs サンプリングの全条件付分布を導出してみる

LDA 機械学習

Latent Dirichlet Allocations(LDA) の実装について - 木曜不足 にも出てくるこの式 を導出してみる。 この式は LDA の Collapsed Gibbs sampling で使う全条件付分布(full conditional)。 もし普通のギブスサンプリングだったら、観測されていない全ての確…

PRML 読んでやってみた（下巻編）

機械学習 PRML

昨日の記事を書いて、そういえば「パターン認識と機械学習」(以下 PRML) 上巻については「やってみた」「試してみた」系の記事をまとめページを作っていたことを思い出した。 PRML 読んでやってみた（上巻編） http://d.hatena.ne.jp/n_shuyo/20100505/prml …

PRML 4.1 の最小二乗法＆フィッシャーの線形判別を試してみた

PRML 機械学習

社内でやってる PRML 読書会が4章に入って、Fisher の線形判別分析(LDA)とかをちょうどやっつけたところ。 4.1.5 で Fisher's LDA と「最小二乗との関連」をわざわざ述べているのはどうして？ というあたりで、最小二乗と互換性があるということはそれだけで…

LDA 追試(訓練データとテストデータを分けたら)

LDA 機械学習 自然言語処理

LDA の評価結果＋Collapsed Variational Bayesian の初期化における工夫 - Mi manca qualche giovedi`? のコメント欄にて、daichi さんに「テストデータを用意して、そちらのperplexityを順次評価してみるとどうなるでしょうか。LWLM等と同様、その場合には …