機械学習の本なのに、なぜか確率の話が 1/3 を占める「わけがわかる機械学習」

「わけがわかる機械学習」という本を書きました。
一言でいうと、「機械学習はなぜそんなことをしたいか・してもいいか」を解説する入門本です。

わけがわかる機械学習 ── 現実の問題を解くために、しくみを理解する

わけがわかる機械学習 ── 現実の問題を解くために、しくみを理解する

目次を見るとわかりますが、機械学習の本をうたっていながら、なぜか確率の章が 3 個もあります。ページ数にして約80ページ。全体の 1/3 が確率の話です。

- 0章: はじめに
- 1章: 機械学習ことはじめ
- 2章: 確率
- 3章: 連続確率と正規分布
- 4章: 線形回帰
- 5章: ベイズ確率
- 6章: ベイズ線形回帰
- 7章: 分類問題
- 8章: 最適化
- 9章: モデル選択
- 10章: おわりに
- 付録A: 本書で用いる数学

たしかに確率は、統計や機械学習でとても重要です。
しかし同じく重要な線形代数や解析(微積分)は付録の章(わずか8ページ)にまとめられており、確率へのエコヒイキが目に余ります。

この扱いの偏りの理由は「線形代数や解析はいい本がいっぱいあるから」です。

いや、確率論も本いっぱいありますよ?
でも確率論を学ぼうと思って教科書を開くと、最初のページでいきなりσ加法族なる謎の概念に困惑し、続けて極めて抽象的な確率空間が定義された瞬間に思わず本を閉じ、「何も見なかったことにしよう」とラノベくらいでしか見たことのないセリフをリアルでつぶやくことができます*1

正直、近代確率論は抽象化しすぎなんですよね。群や位相空間で数学の抽象的議論に慣れている人でもちょっと厳しめですから、機械学習や統計をやりたいだけの人にはぶっちゃけオーバースペック過ぎです*2

かといって、易しい本を探すと今度は易しくなりすぎて、「サイコロを振って 1 の目が出る確率は 1/6」「同様に確からしい」といった高校確率(古典確率)の延長から急にモンティ・ホール問題*3に飛んだりして、「これがベイズだ!」とか言われたってさすがにそれでは何もわかりません。

ベイズ確率や連続確率をちゃんとわかって使うには、確率を「枠組みとしての確率」(公理的な確率)と「モデルとしての確率」(古典・頻度・ベイズ)に分離することがどうしても必要になります。
その「統計や機械学習を使う人にとって最低限必要な確率の抽象化」をボトムアップに導くことがこの「わけがわかる機械学習」の確率編のテーマになっており、そのため紙幅が費やされることになりました。

また実は機械学習も「目的関数を最適化する枠組み」と「線形回帰や分類問題などの個別のモデル」という構成を持っており、枠組みに対する理論や手法が複数のモデルで共通に使われるという点で、確率と機械学習は相似形をなしています。
確率という分野は線形代数や解析とはその点で本質的に異なっており、本書での扱いの手厚さの違いはここから来ていると言うこともできます。

って、機械学習の本なのに確率パートの話ばかりになっちゃってますので、機械学習パートの特徴についてはまた別途紹介します。

*1:そこをかろうじて乗り越えた人の多くも、確率変数の定義で心折られるでしょう……。

*2:機械学習や統計でも、理論屋さんは測度論や確率論を避けられませんけどね!

*3:モンティ・ホール問題は有名な「勘違いしやすい問題」。ベイズ確率で説明できることからベイズの利点の1つとしてよくあげられますが、ベイズを知らない人には説明に納得感がなく、問題自体もベイズを使わないで説明したほうがよっぽどわかりやすいという、もはや存在が地雷となりつつある問題……。