ByteCat

牛顿法也是机器学习中用的比较多的一种优化算法。

改进的梯度下降法通常来说优化效果好于梯度下降法。

在各种最优化算法中，梯度下降法是最常见的一种，在机器学习的训练中被广为使用。

随机游走（random walk）是局部搜索算法中最简单的一个，它的基本策略就是每次从当前候选解的邻居中选择一个更优的进行转移。

用cvxopt.solvers模块求解二次规划模型。

用scipy.optimize模块求解非线性规划。

非线性规划是一种求解目标函数或约束条件中有一个或几个非线性函数的最优化问题。

整数规划中的经典场景：指派问题。

对于许多实际问题来说，若决策变量代表产品的件数、箱数、人员的个数等整数量时，变量只有取整数才有意义，因此有必要在规划模型中增加这些决策变量为整数的限制，称这类含有整数决策变量的规划问题为整数规划。

用cvxpy模块求解线性规划。