python

TextCNN の pytorch 実装 (IMDb 感情分析)

いきなりタイトルと話が違うが、DistilBERT で Sentiment Analysis を実装してみた。transformersのBERTでfine-tuningして、IMDB映画レビューを評判分析するコードを動かしてみた。https://t.co/6V3OF0YQgb基本はHuggingFaceの公式ドキュメントからリンクさ…

Python Lasagne でニューラルネットするチュートリアル その 2

昨日の記事の続き。 Python Lasagne でニューラルネットするチュートリアル その 1 - Mi manca qualche giovedi`? まずは、Lasagne のハマリポイントを紹介しながらコードの説明。 そのあと、ディープラーニング? ディープニューラルネットワーク? どちら…

Python Lasagne でニューラルネットするチュートリアル その 1

@nishio さんに教えてもらったのだが、Lasagne というニューラルネットワークの Python ライブラリが Kaggle でけっこうよく使われているらしい。 イタリア語読みすると「ラザーニェ」、Lasagna(ラザニア) の複数形なので、まあ日本人が呼ぶ分には「ラザニア…

メールアドレスの正規表現がめちゃめちゃ遅くなることがある件について

Solr 3.5 から新たに加わる言語判定機能に、拙作の言語判定ライブラリ langdetect が正式に採用されたようで。 言語判別機能の追加 (Solr 3.5) http://lucene.jugem.jp/?eid=455 LanguageDetection - Solr Wiki http://wiki.apache.org/solr/LanguageDetecti…

Double Array 実装してみた

今作りかけのもので、素性(文字列片)を格納するのに Trie を使っていたのだけど、50万件を超えたあたりからメモリに載らなくなってきて。 まあ dict を使っためちゃめちゃナイーブな実装だったので、そろそろダメかなあとは思っていたんだけど(苦笑)。 とい…

第2回 Tokyo.SciPy で「数式を numpy に落としこむコツ」を発表してきました

10/15 に IBM さんの渋谷オフィスにて開催された 第2回 Tokyo.SciPy にのこのこ参加してきました。主催の @sla さんはじめ、参加者・発表者各位おつかれさまでした&ありがとうございました。 せっかく行くならなんか発表したいよね、ということで「数式を n…

Tokyo.SciPy #2 で「数式を numpy に落としこむコツ」を話します

Tokyo.SciPy #2 っていう、Python で numpy と scipy について語り合う勉強会があって、第1回には残念ながら行けなかったので、第2回に のこのこ参加予定。 で、発表枠がまだ空いていたので、(例によって)何を話すかはおいといて手を挙げてみた(笑)。 最初「…

ほどよく不自然な言語をつぶやき続けるスクリプト

Baidu さんちの不自然言語処理コンテスト用に何かネタを思いついたら作ってみようかな〜、とぼんやりしているうちに締め切りが過ぎていた。 と、残念がっていたらなんか締め切りが1日伸びたようなので、このまえ作っていた 不自然言語処理コンテストのコー…

Pythonでクロージャの列を作る

Pythonで lambda を使ってクロージャの列を作りたいときって、例えばCRFの素性を書くときとかによくあるよね? でも以下のように書くと、クロージャの中の label が全部同じ値になってしまってハマる。 # A, B, C のそれぞれと一致するかどうか判定する列を…

不自然言語処理コンテストのコーパスで乱数作文

Baidu さんの不自然言語処理コンテスト( http://www.baidu.jp/unlp/ )が始まったそうで。 5-gram までのコーパスも配布ということでとりあえず応募するしないはおいといてダウンロードダウンロード……。 2-gram でマルコフ連鎖で文章生成って誰でも考えるよな…

numpy で数式を実装する

こちらもどうぞ。 第2回 Tokyo.SciPy で「数式を numpy に落としこむコツ」を発表してきました - Mi manca qualche giovedi`? numpy は R と同じように出来ると書いたけど、特にループを出来るだけ廃したければ、いろいろコツが必要。 しばらく放っておいた…

隠れマルコフ実装してみた。

PRML 13章読んで、隠れマルコフモデルを実装してみた。今回は Python + numpy の習作も兼ねている。 http://github.com/shuyo/iir/blob/master/sequence/hmm.py 今回実装してみたアルゴリズムは以下の通り。数字は PRML の章番号。 まあなんて盛りだくさん。…

Python で特定のクラスに対してそのサブクラスを取得する(+ファイル名取得)

もっと簡単な方法があるかも、ということでさらしてみる。 Python で DSL 的なものを書くときに*1 class OutputFoo(OutputBase): prop1 = "プロパティとか" def event1(self): # なんか処理 pass みたいのを書かせて、OutputFoo に対して処理をする、という…

IronPython で WPF を使うメモ

Rectangle、TextBlock 追加(8/24) IronPython で WPF を使ってみたら、結構いろいろおもしろかった。 でもあれこれ押さえておかないとプチ苦労するので、そこら辺をまとめてみたメモ。随時更新。 ちなみに作ったものはこんなプレゼンツール。 最初に参考リン…