监督学习之线性模型（1）

一、线性关系与非线性关系

1、线性关系与线性方程

线性关系：两个变量之间为一次方函数关系 / 在数学上可以理解为一阶导数为常数的函数 , 就称它们之间存在线性关系。（正比例关系是线性关系中的特例）
线性方程：代数方程如y = 3x + 9的自变量和因变量之间就是线性关系。这种方程的图像为直线或平面。

2、非线性关系与非线性方程

非线性关系：两个变量之间不是一次方函数关系 / 在数学上可以理解为一阶导数不为常数 , 就称它们之间存在非线性关系。这是一种自然界中普遍存在的复杂关系。
非线性方程：代数方程如y = 2x² + 5的自变量和因变量之间就是非线性关系，常见的非线性关系有平方关系、对数关系、指数关系和三角函数关系等。这种方程的图像为不是直线或平面。

二、线性模型

线性模型是一种用自变量的线性组合来表示因变量的函数方程。

1、一般的线性模型

假设一个某个数据集中的每个示例由n维属性表示，则其中每个示例均可以表示为X_n =（x₁ ; x₂ ; … x_n），其中x_i表示示例x在第i个属性上的属性值，则我们可以构建如下的线性模型
形式如下：

$ f(X) = w{1} x{1} + w{2} x{2} +…+ w{n} x{n} + b = W^ \mathrm{ T } X + b $

线性模型形式简单、易于建模，但却蕴涵着机器学习中一些重要的基本思想。许多功能更为强大的非线性模型可以在线性模型的基础上通过引入层级结构或高维映射而得。

2、广义的线性模型

广义线性模型（generalize dlinear model）是线性模型的扩展，在形式上它仍是线性回归，但实质上已是在求取输入空间到输出空间的非线性函数映射。

$ y = g(f(x)) = g(W^ \mathrm{ T } X+b) $

这里的g（·）被称为联系函数（link function）。