Iterative Learning for Reliable Crowdsourcing Systems @ NIPS 読み会

NIPS crowdsourcing

id:nokuno さん主催の NIPS 読み会にのこのこ参加。ありがとうございます＆お疲れ様でした＞各位
[Karger+ NIPS11] Iterative Learning for Reliable Crowdsourcing Systems というクラウドソーシング、特に Amazon Mechanical Turk にて spammer がいる場合にも効果的な推論手法を提案しつつ、エラー率の上限を評価する、というもの。

[Karger+ NIPS11] Iterative Learning for Reliable Crowdsourcing Systems
View more presentations from Shuyo Nakatani


必ず正解を持つ２値分類問題で、workers が正解を答える確率は tasks に対して独立に決まる、というかなり強い仮定が入っているのはまあ良いのだが、エラー率の上限の評価式のパラメータに「 worker の正解率の２次モーメント」という真の値を知りようがない値が入っちゃってるところが個人的には今ひとつ。
まあそれがなくてもかなり甘い上限(実験で確認できるエラー率はこの上限よりはるかに小さい)なので、この手の boundary のお話の常である「とりあえず不等式１個でもあればいろいろ安心だよね！」ということなのかな、と。


今回は持橋さんが参加してくださってて、豪華充実。
今回あまり準備の時間がなくて、当初は手堅く(笑)トピックモデルな論文を読もうとしていたのだけど、やめといて良かったという気分半分、いや持橋さんにビシバシ突っ込んでもらえる機会なんてなかなかないぞしまったなあな気分半分。


資料のうち公開されている分。発表順、敬称略。