ByteCat

几种决策树算法的对比。

决策树算法的基本思想。

决策树算法在机器学习中算是很经典的一个算法系列了，被认为是监督学习方法中最好的并且是最常用的方法之一。

朴素贝叶斯的最大的特点就是特征的条件独立假设，但在现实情况下，条件独立这个假设通常过于严格，在实际中很难成立。特征之间的相关性限制了朴素贝叶斯的性能，所以本节我们介绍一种放宽了条件独立假设的贝叶斯算法，即贝叶斯网络（bayesian network）。

贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。而朴素朴素贝叶斯分类是贝叶斯分类中最简单，也是常见的一种分类方法。

多重共线性是使用线性模型时经常要面对的一个问题。既不能不加控制，又不能一刀切，认为凡是有共线性就应该消除。

支持向量机的思想和逻辑回归一样，都是找个超平面然后一刀切，但它之所以更为有效，是因为在超平面的基础上多引入了间隔和支持向量的概念。

对数几率回归，简称对率回归，又称逻辑回归，是使用Sigmoid函数作为联系函数时的广义线性模型。与线性回归不同，它解决的是分类的问题，输出的属于某个类别的概率。

线性回归主要用来解决连续值预测的问题，就是根据给出的数据学习出一个线性模型，能使生成的函数值能更贴近目标值。

线性模型形式简单、易于建模，但却蕴涵着机器学习中一些重要的基本思想。许多功能更为强大的非线性模型可以在线性模型的基础上通过引入层级结构或高维映射而得。