ちょっと機械学習の比較的有名なモデルやアルゴリズムの初出について年表を作ってみた。
って今週末用の資料なんだけどねｗ
| 1805 | Method of Least Squares |
| 1901 | PCA (Principal Component Analysis) |
| 1905 | Random Walk |
| -1925 | Logistic Regression |
| 1936 | Fisher's Linear Discriminant Analysis |
| 1946 | Monte Carlo Method |
| 1948 | n-gram model |
| 1950 | RKHS (Reproducing Kernel Hilbert Space) |
| 1950s | Markov Decision Process |
| -1957 | Perceptron |
| 1958 | Kalman Filter |
| 1960s | Hidden Markov Model |
| -1961 | Neural Network (Multi-Layer Perceptron) |
| 1962 | L2 regularity |
| 1967 | Viterbi Algorithm |
| -1970 | Metropolis-Hastings algorithm |
| 1973 | Dirichlet Process |
| 1975 | Mean Shirt Clustering |
| 1977 | EM Algorithm |
| 1980 | Graphical Modeling |
| 1982 | SOM (Self-Organizing Map) |
| -1984 | Gibbs sampling |
| 1984 | CART (Classification And Regression Tree) |
| 1984 | PAC learning |
| 1984 | Markov Random Field |
| 1985 | Bayesian Network |
| 1988 | Variational Bayesian method |
| 1989 | Graph Cut |
| 1994 | L1 regularity |
| 1994 | ICA (Independent Component Analysis) |
| 1995 | Support Vector Machine |
| 1995 | AdaBoost |
| 1995 | Particle Filter |
| 1999 | LSH (Locality Sensitive Hashing) |
| 2000 | FP-Growth |
| 2001 | Item-based Collaborative Filtering |
| 2001 | Random Forest |
| 2001 | CRF (Conditional Random Field) |
| 2001 | Expectation Propagation |
| 2003 | Slice sampling |
| 2003 | LDA (Latent Dirichlet Allocation) |
ちなみに Logistic Regression は 19世紀中頃に logistic 関数の「発見」、1920 年に今の Logistic Regression 相当が出たけどまだその名前でなく、その後 logistic 関数の「再発見」を経て、1925 年にめでたく Logistic Regression となりました、という経緯っぽい。
Linear Regression は 19世紀初頭あたりから始まり、1920 年代に Fisher の手によってほぼ今の形になったっぽいんだけど、まあさすがに載せなくていいかな、と。
LDA までなのはちょい意図的。まあそれ以降は評価が定まるのもこれからでしょうしね。
間違いや「なんで××がないの？」、その他あればご指摘歓迎。
- SOM を忘れてたので追加。
- Multi-layer perceptron と PCA の年代を修正。Perceptron と Fisher's LDA を追加(thanks to Mathieu さん)
- MH-algorithm, Gibbs sampling, Slice sampling を追加
- おっと Random walk 忘れてた……
- Kalman filter の年代を 1958 に修正。MH-algorithm & Gibbs sampling を -1970 といった表記に(thanks to しましま先生)
- 最小二乗法追加(thanks to Mathieu さん, しましま先生)
- グラフィカルモデル、ベイジアンネット、マルコフ乱数場を追加(thanks to tsubosaka さん、_akisato さん)
- パーセプトロン、ニューラルネットワークの年代を -1957 という表記に(thanks to しましま先生)
- particle filter の年代を 1995 に修正(thanks to _akisato さん)
- Expectation Propagation を追加(thanks to daichi さん)
- 再生核ヒルベルト空間を追加
- 変分ベイズから mean-field theory の記述を削除(thanks to _akisato さん)
- n-gram 追加
