产生式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念，它们的区别在于：
- 对于输入x，类别标签y：
- 产生式模型估计它们的联合概率分布P(x,y)
- 判别式模型估计条件概率分布P(y|x)
- 产生式模型可以根据贝叶斯公式得到判别式模型，但反过来不行。
Andrew Ng在NIPS2001年有一篇专门比较判别模型和产生式模型的文章：
On Discrimitive vs. Generative classifiers: A comparision of logistic regression and naive Bayes
判别式模型常见的主要有：
- Logistic Regression
- SVM
- Traditional Neural Networks
- Nearest Neighbor
- CRF
- Linear Discriminant Analysis
- Boosting
- Linear Regression
产生式模型常见的主要有：
- Gaussians
- Naive Bayes
- Mixtures of Multinomials
- Mixtures of Gaussians
- Mixtures of Experts
- HMMs
- Sigmoidal Belief Networks, Bayesian Networks
- Markov Random Fields
- Latent Dirichlet Allocation
