…んは実はすごーく昔にサイボウズ・ラボユースでメンターさせてもらったことがあって、その縁で VRC-LT に誘ってもらい、ようやく VRChat を始める踏ん切りが付きました（笑）。発表資料はこちら。 画像をテキストで検索したい！(OpenAI CLIP) - VRC-LT #15 from Shuyo Nakatani www.slideshare.netただ、しゃべり有り前提の資料なので、VRC-LT の録画を見るほうがいいかもしれません（↓のリンク先の1時間23分ごろから…

…をしたいという応募がサイボウズ・ラボユースに増えているという話、前回はいままで機械学習や深層学習に縁のなかった人が何から勉強したらいいかという話を書きました。 今回はその続き、研究に必要な実験用 PC 環境をどのように準備したらいいかというお話です。深層学習の実験をするには、十分な性能の GPU を積んだ PC が必要です。 今どきの機械学習関連の研究室では、院生有志がメンテナンスしている GPU のクラスタがあって、それを使わせてもらえることが期待できます。自分用の PC …

…したが、内容の半分はサイボウズ・ラボユースの宣伝だったんで、今回はタイトル詐欺じゃあないことも書きます。いままで機械学習や深層学習に縁のなかった人が、それを使った研究を始めたいとなったとき、共通して直面する大きな課題は「何を優先的に勉強したらいいか」と「実験用の環境(PC)をどのように整えたらいいか」でしょう。 今回は何から勉強する？ という話。 機械学習そのもの(特に自分が使おうとしているモデル)を学ぶのは必須に決まっているので、機械学習を使う上で必要となる前提知識を学ぶ優…

…たと感じています。 サイボウズ・ラボでは、学生の開発・研究をサポートする「サイボウズ・ラボユース」という制度を10年続けています。メンターごとに募集テーマは異なり、「機械学習/自然言語処理に関するソフトウェア開発」では、その名前通り機械学習に関する応募を受け付けています。labs.cybozu.co.jp初期の応募者の動機は「自然言語処理やりたい」「画像処理やりたい」ばかりでしたが、そのうち応募の傾向が「機械学習を使った○○○○をやりたいが、ネットワーク(など機械学習と隣接し…

…らい変わる。モデルはサイボウズのエントランスにいるキリンのぬいぐるみ(「こきりんとーん」という名前)を 3DF Zephyr で 3D モデル化したもの。(真ん中に浮いてるキューブは、後の対策で色がどう変わってしまうか見るために入れている) ライティングをいろいろ工夫したがなんともならない。directional light をあてても暗いままなので、どうも「暗い」と言うより「黒い」らしい。3DF Zephyr で出力したものが悪いのかと、obj を Blender や MS…

サイボウズ・ラボでは社内向けの機械学習勉強会を 2012年から週1ペースで継続している(前身の PRML 読書会も合わせれば 2011年から)。割り振られた担当者が、書籍や論文など読んだり、実装してみた話などを紹介している。 例えば今年の4月以降の勉強会のネタをピックアップするとこんな感じ。明らかに「いわゆる機械学習」周辺にすら含みようがないネタもポロポロあるが、「機械について学習」くらいまで拡大解釈している、ことにしてほしい(苦笑)。 プライバシー保護データマイニング 並行…

…開発するのを支援するサイボウズ・ラボユースという制度が始まってもう7年目。 先日、4年ぶりにラボユース合宿が開催された。 サイボウズ・ラボユース合宿2017開催 - Cybozu Inside Out | サイボウズエンジニアのブログ 詳しくはリンク先の記事を見てもらいたいが、要は、泊まり込みで朝から晩までみっちりコードを書きまくり、夜も思う存分プログラミング談義な合宿に参加できるということ。朝昼晩のごはんもついてる。温泉もある(※開催地による)。もちろん費用はサイボウズ持ち…

…るフォーラム) の、サイボウズの技術報告セッションにて「どの言語でつぶやかれたのか、機械が知る方法」という題で発表させてもらいました。聞いて下さった方(ustream 中継含む)、関係各位、ありがとうございました。 発表資料はこちら。 どの言語でつぶやかれたのか、機械が知る方法 #WebDBf2013 from Shuyo Nakatani テーマは過去に発表済みの「∞-gram ロジスティック回帰を使った短文言語判定」なので、技術的に目新しいことは特にない。実装が新しくなっ…

…/main.pdf サイボウズ・ラボの社内 PRML 読書会で行列計算に苦しむメンバーのために、同僚の光成さんがメモとして起こしたのがこのアンチョコ。 某黒幕の手にかかって、かの暗黒通信団から「機械学習とパターン認識の学習」という書籍として出版され、ジュンク堂やアマゾンで購入可能になっているが、もともとは PDF で無料公開(CC-BY ライセンス)されているものである。 フォローされている範囲は 2〜4 章と 9 章 10 章。社内勉強会で中心的に勉強した中で、計算の重要度…

サイボウズでも巷の流行りに乗っかって、アドベントカレンダーなるものをやってて、担当した記事が今日公開された。 言語判定の仕組み - Cybozu Inside Out | サイボウズエンジニアのブログ 通常のアドベントカレンダーと違って、テーマは「技術ならなんでも」って広すぎるやろー。というわけで言語処理な人には当たり前で、それ以外の人にはおそらく興味がないという、なかなかニッチな記事に（よく言えば）。 本当は「なるほど、わからん」と言ってもらえるような記事が書きたくて、いく…

…と思われているだろうサイボウズ・ラボの中の人でさえ、PRML 読んでこんだけ実装しまくっているのは約 1 名しかいないのである。 ここまで言えば「実装しなければいけない」なんて悩む必要はないことは十分納得してもらえるのではないかと思うのだがどうだろう。 そんな事情に最近ようやくちょっと気づいてきて、正直反省している。 「やっぱり実装するべき？」と聞かれた時、つい気楽に「実装してみたらいいんちゃう？」と答えてしまっていたが、そんな無責任な意見でもしかしたら何人か PRML を読…

…込んでいるという。 サイボウズ・ラボの社内 PRML 読書会でもその現象が発生。見かねた同僚の光成さんが PRML で使われている数学の解説だけではなく、PRML の中で省略されている式変形の過程も含めて書き下したメモ（社内通称：アンチョコ）が暗黒通信団から「機械学習とパターン認識の学習」という同人誌として出版され、全国のジュンク堂で購入可能となるとちょっとしたムーブメントががが。 現在はアマゾンでも購入可能となっているが、もともとのアンチョコも PDF で無料公開(CC-B…

来週、サイボウズ・ラボユース合宿なんてのがあったりする(昨年の様子ちら見)。 ちょっと缶詰っぽい感じでコードをガジガジ書く機会になるので、この前の ICML 読み会で紹介した DP-MRM でも実装してみるかー、でも HDP-LDA の実装の細かいところ忘れちゃった（てへ）、TokyoML で発表する約束もしてるし、ちょっと計算やり直してみよっかな、という感じで Teh さんの HDP の論文をまたぞろひっぱりだして読んでたりする。 しかし、初めて読んだときは全くわからなくて…

宣伝です。 サイボウズ・ラボユースの最終成果報告会が来週 3/26(月) に開かれます。 この報告会は第2期募集説明会も兼ねています。 サイボウズ・ラボユース ブログ http://cybozulabs-youth.blogspot.jp/ 第1期サイボウズ・ラボユース 最終成果報告会(若干残席有り) https://docs.google.com/spreadsheet/viewform?formkey=dHFGN3NpSFF5MVNQLUdHZG80Q01QLUE6MQ …

…)の方達、つまりきっとオランダ人。なので、オランダ語のデータが「一番きれい」なのだろう。 ということは裏返せば、ldig がオランダ語を苦手としているのはデータが汚いからということでもある。うーん頑張り甲斐がある……。 最後に、論文のチェックをしてくれたサイボウズ・ラボの同僚と id:nokuno さんに多謝。 *1:[Tromp+ Benelearn2011] Graph-Based N-gram Language Identification on Short Texts

…rum 2011 のサイボウズの企業セッションでの発表の機会をいただきましたので、「 CRF を使った Web 本文抽出」について話をさせていただきました。 CRF を使った Web 本文抽出 for WebDB Forum 2011 View more presentations from Shuyo Nakatani この発表は、過去に2回(自然言語処理勉強会＠東京(TokyoNLP) 第1回、確率の科学研究会 第1回)で話をさせてもらったことと、WebDB Forum …

…、そして実際に社内(サイボウズ)で langdetect を Solr に組み込んで利用していることを考えれば、本懐と言ってもいいくらい。 ありがたや。 でも、今日の話はそっちではなくて。 その langdetect の Issue Board にて教えていただいた「メールアドレスの正規表現がめちゃめちゃ遅くなることがある」件について。 論より証拠、次の Java コードを見てみよう。 import java.util.regex.Pattern; public class …

…強会を 7/30 にサイボウズにて開催。 お疲れ様でした＆ありがとうございました＞各位 会のテーマに合うかなあと心配しつつ、以前 TokyoNLP #1 にて発表させていただいた、CRF(Conditional Random Fields) を使った Web 本文抽出ネタを焼き直し＆プチバージョンアップして発表した。 その資料がこちら。 CRF を使った Web 本文抽出 View more presentations from Shuyo Nakatani 最初は、元の資料…

…こと、ござ先輩が本日サイボウズ・ラボに遊びに来てくださいました。お忙しいところありがとう〜。 で、インターネットで技術的な仕事をしてても、ルーティングとか名前解決とかよくわかんない人必読と巷で話題の「小悪魔女子大生のサーバエンジニア日記」をいただいちゃいました。小悪魔女子大生のサーバエンジニア日記 ――インターネットやサーバのしくみが楽しくわかる作者: aico,株式会社ディレクターズ,村井純出版社/メーカー: 技術評論社発売日: 2011/01/27メディア: 単行本（ソフ…

12/26(日) にサイボウズ/サイボウズ・ラボを会場に NIPS 2010 読み会が開催されました。 おつかれさまでした＆ありがとうございました＞主催の nokuno さん、参加者各位 NIPS 2010 読み会 Nan Ding and S.V.N. Vishwanathan の "t-Logistic Regression" を読んだ。 熱力学の用語がバンバン出てきて、かなり読むのに苦戦したけれど、とてもおもしろい論文だった。 NIPS 2010 論文読み会 / [Di…

…参加してきました。 サイボウズが本フォーラムのシルバースポンサーを務めており、そちらの関係から 12日の技術報告セッションにおいて「国際化時代の40カ国語言語判定」と題し、以前開発したオープンソースの言語判定ライブラリについて発表させていただきました。 発表に用いましたプレゼンテーション資料はこちらです。*1 発表時は口頭で加えていた注釈のいくつかを追加してあります。 国際化時代の40カ国語言語判定 from Shuyo Nakatani なお、ご紹介した言語判定ライブラリ …

…10/22(金) にサイボウズ本社にて "Cybozu Developer Conference 2010" が行われました。 といっても、これは年に数回行われる未公開のイベント。 サイボウズグループ各社(サイボウズ本社、松山、上海、ベトナム、総研、ラボ)が集まり、互いの開発・研究内容をパネル形式で披露し合うというもの。 サイボウズの製品群がどんどん幅広くなっているのにあわせて、ここでの発表もインフラ・要素技術からサービスやモバイル開発まで、非常に幅広くなっており、とても楽し…

…板のデータを使って(サイボウズ本社のチームによっては、英語/日本語/中国語などをちゃんぽんでやりとりしている)、口語文でもある程度いけるという感触は得ていたけれど、数字が出せるレベルでは行っていなかった。 本当は当然もちろん、さまざまなテキストソースでテストしたかったに決まってるわけだが、「そのあたりのテストデータ(しかも正解付き！！！)を集める作業までとてもじゃあないが手が回らなかった」というのがもうぶっちゃけた唯一の答え。 なにしろ、ニュースを使って49言語のテストデータ…

…)」読書会 #13＠サイボウズ・ラボ に参加しました。各位お疲れ様でした。 今回のテーマは１０章の変分推論(変分ベイズ)。監訳者のしましま先生からも「PRML本で最も恐ろしいところ」とお墨付きをもらっているほどの鬼計算の章。 10.2.1 の混合ガウス分布を変分ベイズで推論する例のところを担当した。 発表資料 10.2-10.2.1 例：変分混合ガウス分布、資料後半 by id:n_shuyo 10.2.2-10.2.5 変分下限*1〜導出された分解 by wk さん 10.…

…)」読書会 #12＠サイボウズ・ラボ に参加しました。各位お疲れ様でした。 今回のテーマは９章の EM アルゴリズムと１０章の変分推論(変分ベイズ)。 盛り上がって参りました。 これまでも圧倒的なパワーで並み居る参加者をなぎ倒してきた PRML。しかし全てはウォーミングアップに過ぎなかった。 第１２話の、PRML のセリフ「わたしの戦闘力は53万です」に凍り付く参加者一同。 はたして生き残ることは出来るのか！？ だいたいあってる？ というわけで、PRML の一番大変な範囲に突…

…)読書会 #11 ＠サイボウズ・ラボに のこのこ行ってきました。お疲れ様＞各位 今回は８章「グラフィカルモデル」の後半＋９章の K-means まで。 sum-product(積和アルゴリズム) や max-sum で、グラフィカルモデルが周辺化や同時分布の大域最大解を求めるためのツールになる、というお話。 sleepy_yoshi さんの 8.4.1〜3 因子グラフ他の資料 nokuno さんの 8.4.4 sum-product の資料 8.4.5 max-sum の資料…

…何の計算もいらない。 ま、計算させたかったんだろうけどね。 終了後、いつものようにごはんを食べようとしたが、居酒屋しか無くて、その流れで PRML 読書会初の飲み会に突入。 ぷるむる で酒が飲めるとは！！！！ 次回は 2/6 ＠同じくサイボウズ・ラボ。グラフィカルモデルの後半。「8.4.5 max-sum アルゴリズム」担当予定。 7.2でもやっちゃった無双っぷりを控えるべく、担当範囲を少なめにしといたよ…… *1:背景や動機の理解には、他の知識もあった方がもちろんいいけどね

…L 読書会 第９回＠サイボウズ・ラボに会場係 兼 Chapter 7.2 担当として参加。 って、もう１ヶ月以上も前のことなので、簡単に。 RVM は名前を SVM に似せているだけの全く別物。むしろ線形回帰。「使われてるとしても、他の名前なんちゃう？」「あれ？ RVM の中の人、ビショップと同じ会社……」とか話してたら、しましまさんに「RVM というより，Sparse Bayesian Learning という呼び方がメジャーになってきているかも」というコメントいただいて超…

…て読んでみよう〜。 次回は 11/28(土) にサイボウズ・ラボにて開催。 #9 の範囲は第７章「疎な解を持つカーネルマシン」。多くの PRML 読みがきっと「この章を読みたい」と目標としているサポートベクトルマシンを扱う。 7.2 RVM を担当予定。 *1:「ガウス過程」が太字になっていない *2:証明の一番難しいところは「カーネル多変量解析」でも省略されちゃってるんだけど、だいたいの流れはつかめる *3:自分のまとめ方はちょいクセがあるしねｗ。自覚はある。反省はしない。

11/22 に @サイボウズ・ラボ にて Working Effectively with Legacy Code 読書会の第６回が行われました。 第５回まで終わって残りは 24章と 25章。 25 章はやり残したメソッドが羅列されているだけの「長すぎる Appendix 」であり、24 章が実質的には最終章。 しかし 24 章はわずか２ページちょっとしかない。 おまけに 25 章の担当者は半分しか埋まらず、はてさてどうなることやらと正直危惧していた。 が、ふたを開けてみたら…