ByteCat

通常情况下，常用的超参数调参的方法有：网格搜索，随机搜索与贝叶斯优化。

孤立森林(Isolation Forest)算法是一种基于树集成的异常检测方法，其核心思想是——异常点是容易被孤立的离群点。

CatBoost也是在XGBoost基础上做的优化，采用了对称树结构，其决策树都是完全二叉树。

LightGBM在XGBoost基础上做了进一步的优化，采用了按叶子生长（leaf-wise）的构建策略。

XGBoost是原始版本GBDT模型的改进，它的全称是Extreme Gradient Boosting。

Stacking（堆叠法）就是当用初始训练数据学习出若干个基学习器后，将这几个学习器的预测结果作为新的训练集，来学习一个新的学习器。

Boosting（分步法）是指个体学习器之间存在强依赖关系，必须串行序列化生成的集成学习方法。

Bagging算法，又称装袋算法，是最常见的一种集成学习算法。

每个算法有不同的适用范围，例如有处理线性可分问题的，有处理线性不可分问题。在现实世界的生活中，常常会因为'集体智慧'使得问题被很容易解决，那么问题来了，在机器学习问题中，对于一个复杂的任务来说，能否将很多的机器学习算法组合在一起，这样计算出来的结果会不会比使用单一的算法性能更好？这样的思路就是集成学习方法。

sklearn有好多模型可供使用，现在对常用的基础模型进行梳理。