Python Lasagne でニューラルネットするチュートリアル その 2

昨日の記事の続き。 Python Lasagne でニューラルネットするチュートリアル その 1 - Mi manca qualche giovedi`? まずは、Lasagne のハマリポイントを紹介しながらコードの説明。 そのあと、ディープラーニング? ディープニューラルネットワーク? どちら…

Python Lasagne でニューラルネットするチュートリアル その 1

@nishio さんに教えてもらったのだが、Lasagne というニューラルネットワークの Python ライブラリが Kaggle でけっこうよく使われているらしい。 イタリア語読みすると「ラザーニェ」、Lasagna(ラザニア) の複数形なので、まあ日本人が呼ぶ分には「ラザニア…

「続・わかりやすいパターン認識」の8章「隠れマルコフモデル」の問題点 2つ #ぞくパタ

【追記】 本記事の内容は公式の正誤表ですでに修正済みです。第1版第4刷以降が出ることがあれば、そちらに反映されていることが期待されます。 続・わかりやすい パターン認識 -教師なし学習入門- | Ohmsha 【/追記】 昨日は ぞくパタ読書会 にのこのこ行…

プチコン3号 ショートサンプル&ドリル / 十字キー編

プチコン3号の短いサンプルプログラムと、かんたんな演習問題。ドリルを解くと、だんだんプチコンプログラミングを覚える、みたいな。 「新しい命令」は プチコンで 3DS のゲームを作ろう #petitcom - 木曜不足 に出てきてないもの。 ■サンプル 1. 十字キー…

プチコン3の標準 BG とスプライトの一覧を作ってみた #petitcom

3DS でゲームが作れる プチコン3号。結構本格的なゲームも作れるくらい性能も自由度も十分ありつつ、ちょっとしたゲームをひょいと作れる手軽さもあって、久しぶりに1画面プログラムなゲームとかちまちま作って楽しんでたりする。 でも、いわゆるベーマガ世…

プチコンで 3DS のゲームを作ろう #petitcom

「 3DS になんか見たことないゲームあるけど、おっちゃんこれなに?」「これはゲームやない。プチコン3号や。プログラミングってわかるか?」 「学校で『スクラッチ』ってのちょっとだけやったことあるよ。自分で 3DS のゲームが作れるってこと?」 「 Scrat…

「調査観察データの統計科学」3.1章 傾向スコアの数式メモ(後半)

「調査観察データの統計科学」3.1章 傾向スコアの数式メモ(前半) - 木曜不足 前回に続いて、「調査観察データの統計科学」の 3.1章の後半を読む。 バランシングスコア b(x) を定義し、b(x) がバランシングスコアであることと、ある関数 g があって が成り…

「調査観察データの統計科学」3.1章 傾向スコアの数式メモ(前半)

【追記】 社内勉強会資料を整えて公開しました。 「調査観察データの統計科学」読書会資料を公開しました(数式周りをフォロー) - 木曜不足 【/追記】 みどりぼん(「データ解析のための統計モデリング入門」)を読み終わったから、というわけではないが、同…

とりあえず plot だけでもしてみるのススメ #みどりぼん

10/21 に開催された「データ解析のための統計モデリング入門」(以下みどりぼん)読書会の最終回にのこのこ参加。主催の yamakatsu さん、参加者&発表者のみなさん、会場を提供してくださったドワンゴさん、ありがとうございました。 懇親会はちょっと断念…

「データ解析のための統計モデリング入門」6.6章 割算値はなぜダメなのか? #みどりぼん

昨日 7/29 の「第6回「データ解析のための統計モデリング入門」読書会」は参加しなかったのだが、ニコ生で中継してくださっていたので後半を聞くことができた。 6.6章「割算値の統計モデリングはやめよう」では、タイトルの通り観測データ同士を割り算するな…

ブートストラップの適切なサンプル数 -「データ解析のための統計モデリング入門」第5章 #みどりぼん

7/8 に開催された「データ解析のための統計モデリング入門」、通称「みどりぼん」の第 5 回読書会にのこのこ参加。主宰のやまかつさん、発表者&参加者の皆さん、会場を提供してくださったドワンゴさん、ありがとうございました。 第5回「データ解析のための…

「データ解析のための統計モデリング入門」第3章メモ #みどりぼん

6/10 に開催された「データ解析のための統計モデリング入門」、通称「みどりぼん」の第3回読書会にのこのこ参加& LT してきた。主宰のやまかつさん、発表者&参加者の皆さん、会場を提供してくださったドワンゴさん、ありがとうございました。 第3回「デー…

PRML ガール 〜とある文芸部の統計女子〜

これは「PRMLガール 〜 文芸部のマネージャーが「パターン認識と機械学習」を読んだら 〜」の幕間的なお話です。 未読の方は先にそちらをどうぞ。 PRMLガール 〜 文芸部のマネージャーが「パターン認識と機械学習」を読んだら 〜 - 木曜不足 「先輩、先輩。…

「機械学習 はじめよう」最終回

gihyo.jp で続けていた連載「機械学習 はじめよう」がとうとう最終回を迎えることができた。 第21回(最終回) 機械学習 はじめよう:機械学習 はじめよう|gihyo.jp … 技術評論社 初回の 2010年 7月から 3年以上にわたる連載がなんとか完結できたのも、読ん…

WebDB Forum 2013 で「どの言語でつぶやかれたのか、機械が知る方法」について発表しました。

11/27-28 に京都で開催された WebDB Forum 2013(第6回 Webとデータベースに関するフォーラム) の、サイボウズの技術報告セッションにて「どの言語でつぶやかれたのか、機械が知る方法」という題で発表させてもらいました。聞いて下さった方(ustream 中継含む…

第4回 #DSIRNLP で Active Learning 入門について話しました

@overlast さん主宰の データ構造と情報検索と言語処理勉強会(DSIRNLP) の第4回にのこのこ参加して、Active Learning 入門なるものを発表してきました。お疲れ様でした&ありがとうございました>各位 こちらが発表資料。 Active Learning 入門 from Shuyo N…

夏のプログラミングシンポジウムで「数式を綺麗にプログラミングするコツ」を発表してきました

8/25 に開催された夏のプログラミングシンポジウム 2013 にて、「数式を綺麗にプログラミングするコツ」というお話をさせてもらいました。運営、発表に携わった&参加者のみなさん、会場のドリコムさん、お疲れ様でした&ありがとうございました。お水おいし…

Active Learning を試す(Uncertainly Sampling 編)

教師あり学習の教師データの作成はとても大変。例えば、twitter 言語判定のために、訓練・テストデータあわせて70万件のツイートに言語ラベルを振った人もいたりいなかったり。 Active Learning(能動学習) はそんな教師データ作成のコストを抑えながらモデル…

R で Vanishing Component Analysis

どんなデータでも(※)線形分離可能にしてしまう技術,Vanishing Component Analysis(ICML 2013)を紹介してきました - a lonely miner Vanishing Component Analysis を試作してみました – Tech.D-ITlab | Denso IT Laboratory researcher's blog sites 行けな…

PRML Wednesday (平日読書会) と読み始める人のための参考リンク集

毎週決まった平日の夜に 「機械学習とパターン認識」(PRML) を読み進めようという PRML Wednesday のキックオフにのこのこ顔を出してきた。主催の naoya_t さん&参加者のみなさん、お疲れ様でした&ありがとうございました。 PRML-Wednesday : ATND ほとん…

Kneser-Ney スムージングによる文書生成

少し前に Kneser-Ney スムージングの性能を測ってみた記事 を書いたが、今回は Kneser-Ney スムージングによる n-Gram 言語モデルで文書生成を行なってみた。 スクリプトはこちら。 https://github.com/shuyo/iir/blob/master/ngram/knlm.py 適当なテキスト…

「ぷるむるクイズ☆2: tail-to-tail で話が違う!?」の解答編

下巻で一番大切な一文は p73 の「グラフはリンクが存在しないことをもって分布のクラスの性質に関する情報を表現する」やねんって儂が言わんかったら誰が言うてくれるねん! という使命感に思わず燃えてしまう PRML 第8章「グラフィカルモデル」(半分嘘)。 …

「ぷるむるクイズ☆ head-to-tail で新定理発見!?」の解答編

7/21 開催の PRML(パターン認識と機械学習) 読書会 復々習レーンにのこのこ参加してきました。主催者、発表者、参加者、そして会場を提供してくださったニフティさん、お疲れさまでした&ありがとうございました。 PRML復々習レーン #12 : ATND なんか Tokyo…

LDA CVB0 の C++ 実装

LDA

ちょっと C++ で実装したいものがあるのだけど、その前に練習ということで LDA の CVB0 推論を C++ で実装してみた。 https://github.com/shuyo/iir/tree/master/lda/ldacvb0_cpp VC++2010 でしかビルドしてないが、一応後で gcc でもビルドしてみようかなと…

青空文庫の続き物を1冊の Kindle フォーマットにする

gunosy に twitter アカウントをひもづけてここ何ヶ月か使っているが、出てくるのはなぜか電子書籍やラノベやソシャゲの話題ばかり(たまに数学や教育)で、自然言語処理や機械学習の記事をお勧めされることはまずほとんどない。 お勧めされる記事に興味がな…

Labeled LDA (Ramage+ EMNLP2009) の perplexity 導出と Python 実装

3年前に実装したものの github に転がして放ったらかしにしてた Labeled LDA (Ramage+ EMNLP2009) について、英語ブログの方に「試してみたいんだけど、どういうデータ食わせたらいいの?」という質問コメントが。 うーん、そうね、そういうところ書いてない…

PRMLガール 〜 文芸部のマネージャーが「パターン認識と機械学習」を読んだら 〜

放課後の学食は、普段なら常時腹を空かせた運動部の連中があちこちにたむろっているのだが、今日は珍しく先客は一人きりだった。 静かな様子にほっとしたカズは、まったり休憩でもしようとジュースを片手に奥の目立たない席を目指す。が、学食で筆記用具を広…

言語判定のモデルパラメータを自己組織化マップで可視化

サイボウズでも巷の流行りに乗っかって、アドベントカレンダーなるものをやってて、担当した記事が今日公開された。 言語判定の仕組み - Cybozu Inside Out | サイボウズエンジニアのブログ 通常のアドベントカレンダーと違って、テーマは「技術ならなんでも…

Online VB inference for HDP (Wang+ 2011) を実装してみたけど

[Wang+ AISTATS 2011] Online Variational Inference for the Hierarchical Dirichlet. Process HDP-LDA を Online な VB で解くという論文。 Teh さんらの VB 推論の論文も読んだんだけど、実にアクロバティックな分解が出てきて、いやこれはどうなんだろう…

Kneser-Ney Smoothing を試してみた

Kneser-Ney Smoothing は高性能な言語モデルである。と、よく聞かされて知っているつもりだけど、まだ一度も試したことがなかったので、試してみた。 コードはここ。 https://github.com/shuyo/iir/blob/master/ngram/knsmooth.py 実験用にべったり書いてい…