「論理処理が必要と思ったことが確率処理でできるとわかった」のは AI だけだろうか

2004年ごろに Google の猫で深層学習が一躍脚光を浴びたとき、画像認識は特徴抽出が難しいので深層学習で良い結果が出るが、自然言語処理は特徴量*1がリッチなので、深層学習を適用するのは難しいだろうと思っていた。 特徴量がリッチとは、例えば「ホームラ…

CLIP を使った画像検索(VRC-LT #15)

VRC-LT という VRChat 上で LT 大会を行うイベントに、のこのこ参加させてもらって、CLIP で画像検索の簡単なサービスを書いてみた話をしてきました。 主催の @haru2036 さん、発表者&参加者の皆さん、ありがとうございました&お疲れ様でした~。vrc-lt.or…

実験用 GPU 環境をどう準備したらいい?(非情報系が機械学習を使う研究をしたいとき)

深層学習が著しく発展し、今まで人間にしかできないと思われていたことができるようになってきました。そのおかげで、今まで機械学習と縁が薄かった分野でも、機械学習を使った研究がしたいという声が上がるようになっています。 前々回は、それを裏付けるよ…

何から勉強始めたらいい?(非情報系が機械学習を使う研究をしたいとき)

以前、「非情報系が機械学習を使う研究をしたいとき」という記事を書きましたが、内容の半分はサイボウズ・ラボユースの宣伝だったんで、今回はタイトル詐欺じゃあないことも書きます。いままで機械学習や深層学習に縁のなかった人が、それを使った研究を始…

非情報系が機械学習を使う研究をしたいとき

機械学習(深層学習・人工知能を含む)が使われる領域は、自然言語処理や画像処理といった機械学習の近隣とみなされる分野が従来のメインストリートでしたが、最近はそれ以外の分野の人からも機械学習を使った研究をしたいという声がよく聞かれるようになって…

TextCNN の pytorch 実装 (IMDb 感情分析)

いきなりタイトルと話が違うが、DistilBERT で Sentiment Analysis を実装してみた。transformersのBERTでfine-tuningして、IMDB映画レビューを評判分析するコードを動かしてみた。https://t.co/6V3OF0YQgb基本はHuggingFaceの公式ドキュメントからリンクさ…

「ベイズ統計の理論と方法」の補題4(2)の反例?

タイトルは釣り。 「ベイズ統計の理論と方法」(渡辺澄夫)を読んでいて、2章でちょっと困っている。ベイズ統計の理論と方法作者:渡辺 澄夫発売日: 2012/03/01メディア: 単行本他の本には書かれていないようなことが注意書きにたっぷり書かれていたりして、…

Randomized Response のベイズ推論(3): 変分ベイズ

Randomized Response はアンケートの回答をランダム化することで、個人の回答は伏せつつ平均などの統計量を得る手法の1つ。 前回までの記事で、ランダム化された回答から真の割合を最尤推定とベイズ推定(ギブスサンプリング)で推定する方法とそれらの実験…

Randomized Response のベイズ推論(2): ギブスサンプリング

Randomized Response はアンケートの回答をランダム化することで、個人の回答は伏せつつ平均などの統計量を得る手法の1つ。 前回記事では、回答の割合の推定量を最尤推定で得る手順を紹介したが、割合の推定値が負になる可能性があることを示した。 shuyo.ha…

Randomized Response のベイズ推論(1)

Randomized Response は、センシティブな質問を含むアンケートなどを実施するとき、個々人の回答を知らずにその統計量(yes の割合など)を得る手法の1つ。例えばキセル乗車や浮気などの発生割合を調べたいとき、「あなたはキセル乗車をしたことがありますか?…

Nreal Light のイメージトラッキング(画像タグ)実装方法

日本でも 12月1日から一般販売が始まるとアナウンスされた AR グラス Nreal Light。www.moguravr.com大昔に注文した開発キットもまだ届いてない人がいっぱいいるのに……とか、8月に先行して一般販売が始まっているはずの韓国で買えたという話がまだ聞こえてこ…

NRSDK(Nreal SDK) for Unity の新バージョン 1.4.8 の新機能を試す

AR グラス Nreal Light のアプリを開発するための NRSDK(Nreal SDK) for Unity のバージョン 1.4.8 がこの9月に出た。1.3.0 の次が 1.4.8 なのがちょっと謎。 Release Note のうち、機能追加にあたるのは以下の通り。 Added running state tips (temperature…

AR グラス Nreal Light ファーストインプレッション

AR グラス Nreal Light の開発キットを1月に注文。 3月に届くはずが、コロナ禍のせい(だけかどうかわからないが)で遅れに遅れて8月にようやく到着。AR と言えば Microsoft の HoloLens が代表的な製品で*1、他に Magic Leap One などもあるけど、「電脳コ…

立体視できる図を R で描く

R

拙著「わけがわかる機械学習」では、2次の標準正規分布のグラフを平行法で立体視できる図で掲載しています。 平行法を知らない人、知ってても苦手な人には申し訳ないですが、ちょっとした遊び心ということで許してください。人間は右目からと左目からの視差…

深層学習やプログラミングについては書かれていない「わけがわかる機械学習」

引き続き、確率の話が 1/3 もある入門本「わけがわかる機械学習」の宣伝エントリです。わけがわかる機械学習 ── 現実の問題を解くために、しくみを理解する作者:中谷 秀洋技術評論社Amazon2012年に深層学習が大規模画像認識コンペ(ILSVRC)で圧勝して以来、「…

機械学習の本なのに、なぜか確率の話が 1/3 を占める「わけがわかる機械学習」

「わけがわかる機械学習」という本を書きました。 一言でいうと、「機械学習はなぜそんなことをしたいか・してもいいか」を解説する入門本です。わけがわかる機械学習 ── 現実の問題を解くために、しくみを理解する作者: 中谷秀洋出版社/メーカー: 技術評論…

ワイドアパーチャ写真から 3D モデルを生成

VR XR

VR180 という規格がある。端的に言うと、「180度の視野がある 3D (両眼立体視)」と解釈できるためのメタデータ作法。 QooCam と Insta360 EVO という VR180 カメラを手に入れて、身近な出来事いろいろを VR180 写真や動画で撮りまくっている。QooCam と Inst…

A-Frame で glb を表示すると暗くなる件

Oculus Go が出てから WebVR ( A-Frame ) でいろいろこっそり作ってみている。ノウハウもそこそこ溜まってきて、アウトプットしようかなと思いつつもサボりっぱなし(苦笑 いろんな角度から撮った写真から 3D モデルを生成する photogrammetry ツールの 3DF …

#銀座VR に WebVR で行けるようにしてみた

VR XR

5月に発売されたスタンドアローン(ひも無し) VR ヘッドセットの Oculus Go が想像通りの良いものだったので、会社で100人くらいにかぶせて回ったり、Unity や WebVR でなんかちょこちょこ作ってみたりということを最近している。7/7 に銀座VR という、VR で…

「Chainer による実践深層学習」の気づいたこといくつか

Chainer v2による実践深層学習作者: 新納浩幸出版社/メーカー: オーム社発売日: 2017/09/15メディア: 単行本この商品を含むブログ (2件) を見るChainer について書かれた数少ない本。 この9月に v2 対応版が出た。が、v3 リリース秒読みの時期に……というツラ…

無限関係モデル(Infinite Relational Model)の紹介資料+実装

サイボウズ・ラボでは社内向けの機械学習勉強会を 2012年から週1ペースで継続している(前身の PRML 読書会も合わせれば 2011年から)。割り振られた担当者が、書籍や論文など読んだり、実装してみた話などを紹介している。 例えば今年の4月以降の勉強会のネタ…

End-to-End Memory Networks の勉強会資料+補足

前記事で End-to-End Memory Networks の実装を公開してたが、さらに社内勉強会の資料も公開する。 モデルもわかるように一応説明したつもり。 Memory Networks (End-to-End Memory Networks の Chainer 実装) from Shuyo Nakatani 以下、前記事で書き忘れた…

End-to-End Memory Networks を実装してみた

久しぶりの更新。 学生さんが好きなものを開発するのを支援するサイボウズ・ラボユースという制度が始まってもう7年目。 先日、4年ぶりにラボユース合宿が開催された。 サイボウズ・ラボユース合宿2017開催 - Cybozu Inside Out | サイボウズエンジニアのブ…

コサイン類似度が高いベクトルはどれくらい似ているか(岩波データサイエンス刊行イベントより)

岩波データサイエンス vol.2 の発刊を記念して、刊行トークイベント「統計的自然言語処理 - ことばを扱う機械」が 3月3日 に開催されました。 岩波データサイエンス Vol.2 : 岩波データサイエンス刊行委員会 : 本 : Amazon.co.jp トークイベント「統計的自然…

「続・わかりやすいパターン認識」13章「共クラスタリング」の無限関係モデル(IRM)の数式について #ぞくパタ

続わかりやすいパターン認識、 6章から読み始めたんだけど(ぉぃ)、いきなり式 (6.9) が間違ってた。簡単なミスなので既知だと思うんだけど、正誤表ってどこかにないのかなあ。#ぞくパタ— Nakatani Shuyo (@shuyo) March 10, 2015ということを1年近く前につ…

EMNLP 2015 読み会 #emnlpyomi

10/24 に開催された EMNLP 2015 読み会にのこのこ行ってきた。 主宰の @unnonouno さん、参加者&発表者の皆さん、会場提供してくださったリクルートテクノロジーズさん、おつかれさまでした&ありがとうございました。 EMNLP2015読み会 Proceedings を見た…

「調査観察データの統計科学」読書会資料を公開しました(数式周りをフォロー)

因果推論、特に傾向スコアについて日本語で学ぼうとしたら、第一に名前が挙がるのは「調査観察データの統計科学」だろう。調査観察データの統計科学―因果推論・選択バイアス・データ融合 (シリーズ確率と情報の科学)作者: 星野崇宏出版社/メーカー: 岩波書店…

「続・わかりやすいパターン認識」11章「ノンパラメトリックベイズ」の「クラスタリングの事前確率」について

昨日の「続・わかりやすいパターン認識」読書会にて、「ホップの壺や中華料理店過程のシミュレーションをみると、これを使うと均等にクラスタリングされるのではなく、クラスタサイズが大きいものから順に小さくなっていくようなクラスタリングがされるよう…

中華料理店過程のテーブル数の分布が見てみたい・実験編 #ぞくパタ

今日のぞくパタ読書会の予習に「続・わかりやすいパターン認識」(以降「ぞくパタ」)の 11章をつらつら読む。 p227 に「CRP における使用テーブル数の変化」というグラフがあり、αが 2 と 10 のそれぞれにおいて、来客数が 1000 になるまでシミュレーションし…

ディリクレ過程(中華料理店過程)のトピック数(テーブル数)の期待値を導出してみる #ぞくパタ

「続・わかりやすいパターン認識」(以降「ぞくパタ」)の11章「ノンパラメトリックベイズモデル」を読んでいる。 ぞくパタはこの11章・12章のための本、と言ったらさすがに言いすぎなのかもしれないけど、そのつもりで読んでる人はけっこう多そう。 ノンパラ…