自然言語処理
前記事で End-to-End Memory Networks の実装を公開してたが、さらに社内勉強会の資料も公開する。 モデルもわかるように一応説明したつもり。 Memory Networks (End-to-End Memory Networks の Chainer 実装) from Shuyo Nakatani 以下、前記事で書き忘れた…
久しぶりの更新。 学生さんが好きなものを開発するのを支援するサイボウズ・ラボユースという制度が始まってもう7年目。 先日、4年ぶりにラボユース合宿が開催された。 サイボウズ・ラボユース合宿2017開催 - Cybozu Inside Out | サイボウズエンジニアのブ…
岩波データサイエンス vol.2 の発刊を記念して、刊行トークイベント「統計的自然言語処理 - ことばを扱う機械」が 3月3日 に開催されました。 岩波データサイエンス Vol.2 : 岩波データサイエンス刊行委員会 : 本 : Amazon.co.jp トークイベント「統計的自然…
10/24 に開催された EMNLP 2015 読み会にのこのこ行ってきた。 主宰の @unnonouno さん、参加者＆発表者の皆さん、会場提供してくださったリクルートテクノロジーズさん、おつかれさまでした＆ありがとうございました。 EMNLP2015読み会 Proceedings を見た…
Machine Learning that Matters(ICML 2012) 読んだ - 糞ネット弁慶 (Wagstaff ICML2012) Machine Learning that Matters (原論文) 機械学習のトップカンファレンス ICML にて、「機械学習はこのままでいいの？」という感じの論文が発表された。 細かい内容は…
5/14 に NAIST(奈良先端科学技術大学院大学) にて「∞-gramを使った短文言語判定」について発表してきました。素晴らしい機会をいただいてありがとうございました。 その時の資料を公開します。 内容は TokyoNLP #8 や言語処理学会2012＠広島市大で発表したも…
言語処理学会の第18回年次大会(NLP2012)での発表「極大部分文字列を使った twitter 言語判定」で使用した資料を公開します。 極大部分文字列を使った twitter 言語判定 from Shuyo Nakatani www.slideshare.net論文は下記ページにて公開済み。 極大部分文字…
お使いのデバイスによっては３Ｄに見えないことがあります。あらかじめご了承ください。
TokyoNLP 第8回に のこのこ参加。主催者の id:nokuno さん、発表者＆参加者のみなさん、そして会場を提供してくださった EC ナビさん改め VOYAGE GROUP さん＆ @ajiyoshi さん、お疲れ様でした＆ありがとうございました。 今回は「∞-gram を使った短文言語判…
第8回自然言語処理勉強会 #TokyoNLP http://atnd.org/events/22199 主催の id:nokuno さんを除けば、TokyoNLP できっと最多発表だと思うが、来週の第8回でもまたまたのこのこ発表。 今回は「∞-gram を使った短文言語判定」というタイトルで、かっこつけてい…
EMNLP 2011 でひときわ目を引くタイトル "Cooooooooooooooollllllllllllll!!!!!!!!!!!!!! Using Word Lengthening to Detect Sentiment in Microblogs" (Brody & Diakopoulos) は、twitter 上での表現を評判分析に使う話。 Cooooooooooooooollllllllllllll …
9/3 の ACL 読み会で読む [Hu+ ACL11] Interactive Topic Modeling(ITM) の資料です(途中ですが力尽きましたすいません……)。【追記】 ディリクレ木と Interactive Adding Constraints and Unassigning(←これがこの論文のキモ！) についての説明を追加しまし…
早第6回となった自然言語処理勉強会＠東京(#TokyoNLP)にのこのこ行ってきた。 主催者の id:nokuno さん、会場を提供して下さった EC ナビさん(@ajiyoshi さん)、発表者参加者の各位、お疲れ様でした＆ありがとうございました。 第6回 自然言語処理勉強会 #To…
LDA の評価結果＋Collapsed Variational Bayesian の初期化における工夫 - Mi manca qualche giovedi`? のコメント欄にて、daichi さんに「テストデータを用意して、そちらのperplexityを順次評価してみるとどうなるでしょうか。LWLM等と同様、その場合には …
えらく間隔があいてしまった。 LDA の結果を評価しつつ、前回やった LDA の Collapsed Variational Bayesian(CVB) 推論にて、初期化に一工夫入れて、少ないイテレーションで定性的によい結果を得られることを確認していたので、その解説も入れていこう。 Lat…
Collapsed Gibbs Sampling (以下 CGS)で LDA の推論を行う話は Latent Dirichlet Allocations(LDA) の実装について - 木曜不足 にて書いたのだけど、今回はそれとは別の Collapsed Variational Bayesian (以下 CVB) で推論を行う話。 まず、LDA の原論文であ…
Collapsed Variational Bayesian での LDA 推論も実装してみたのだが、そのときに「パープレキシティが下がりきるのは非常に早いのに、その時点ではトピック-単語分布がストップワードだらけ」「イテレーションの最初のうちはパープレキシティがほとんど動か…
早稲田大で行われていた CICLing 2011 (International Conference on Intelligent Text Processing and Computational Linguistics) の最終日にのこのこ行ってきました。 FSNLP の 10章をちょうど読み終わったばかりという初心者が、自然言語処理の国際会議…
LDA Python 実装編 LDA 解説編 というわけで連載じゃあないけど第3回。わざわざ自前で実装したんだから、LDA で細かい設定で実験してみる。 NLTK のブラウンコーパスの 0〜99 までの 100 個のドキュメントをコーパスとし、トピック数は K=20、ハイパーパラメ…
昨日の "Latent Dirichlet Allocations in Python" の続きで実験結果を載せようかと思ったけど、先にやっぱりもうちょっと LDA を説明しておこう。LDA の初出は [Blei+ 2003] Latent Dirichlet Allocation 。 ただし [Blei+ 2003] で "LDA" としているのはト…
LDA とは "Latent Dirichlet Allocation"。文書中の単語の「トピック」を確率的に求める言語モデル。 「潜在的ディリクレ配分法」と訳されていることもあるが、その名前だと「それってなんだっけ？」という人のほうが多そうｗ。 各単語が「隠れトピック」(話…
1/28 に行われた第200回 NL研(情報処理学会の自然言語処理研究会)でのパネル討論会を @mamoruk さんが twitter で中継してくださってて、これが本当にとてもおもしろかった。Togetter でのまとめがこちら。 NL研 #signl200 まとめ(その２) - Togetter 単語の…
実は日経ソフトウエアの記事は、TokyoWebMining #9 1st で話させていただいた「機械の代わりに人間が学習入門」とちょうど表裏の関係になっています。 「機械学習とは何か」「おもしろそうでしょう？」と語る表側に対し、では実際に勉強し始めると結構大変………
言語判定ライブラリですが、せっかく４９言語対応しているので、おそまきながら英語の資料も作成。 Language Detection Library for Java from Shuyo Nakatani 英語はとても苦手なので、この英語はおかしいとかあればご指摘いただけたらとても嬉しいです。
第3回自然言語処理勉強会＠東京 ( #tokyonlp ) に例によってのこのこ行ってきました。お疲れ様でした＆ありがとうございました＞主催、発表、参加各位。 長丁場なのが玉に瑕？ っていつもは主犯の一人だけど(汗 第3回自然言語処理勉強会＠東京 : ATND 第３回…
この記事は 第３回 自然言語処理勉強会＠東京 のおまけ資料です。 [岡野原+ 2008] 全ての部分文字列を考慮した文書分類 http://ci.nii.ac.jp/naid/110006980330 n-gram と異なり、任意長の部分文字列を素性の候補としたい ただしそのままでは素性数が文章長…
この記事は 第３回 自然言語処理勉強会＠東京 での発表資料です。 EMNLP 2010 (The 2010 Conference on Empirical Methods on Natural Language Processing) の論文を４本＋５本紹介しています。質より数で勝負。 論文を広く浅く読むススメ(仮) 「たまたま手…
ちょっと前に "Foundations of Statistical Natural Language Processing"(FSNLP) 5.4 の Mutual Information(相互情報量)について書いた。 http://d.hatena.ne.jp/n_shuyo/20100827/fsnlp そこで Pointwise Mutual Information(PMI) についての説明にいろい…
遅ればせながら 第2回 自然言語処理勉強会＠東京 の感想。 まず、自分の発表「ナイーブベイズで言語判定」についていくつかフォロー。 長時間発表してしまって聞く方も疲れただろうに、いっぱい質問や意見をいただけたことを感謝。 「なぜナイーブベイズ？ …
第2回自然言語処理勉強会＠東京 にのこのこ行ってきました。 ありがとうございました＆お疲れ様でした＞各位。 今回も全然専門じゃあないのに「ナイーブベイズで言語判定」というタイトルで発表してきた。 ナイーブベイズによる言語判定 from Shuyo Nakatani…
