涌现与人工智能的进化

什么是”涌现”

“涌现”理论的主要奠基人约翰霍兰德在他出版的《涌现：从混沌到秩序》中描述了这么一种现象：蚂蚁社群、神经网络、免疫系统、互联网乃至世界经济，但凡一个过程的整体行为远比构成它的部分复杂，均可称为”涌现”现象。
直白一点说，就是一些简单普通甚至是无意义的操作，在相互作用之后，产生了具有极大意义的行为。例如说山顶的雪化成水，水顺着河流流向大海，海水蒸发成水蒸汽进入了大气，而大气又把水气运到了山顶。看似每个环节都很简单，然而它们聚合在一起，却形成了恢弘又精巧的水循环系统。

大模型中的”涌现”

近年来，随着计算机算力的提高和数据集规模的扩大，模型参数量也在不断增长，这个过程中出现了智能的”涌现”。科学家们观测到，一旦模型大小达到某个”临界质量”，其性能提高将远超比例关系，呈现出量变引发的质变。在训练量较小的时候，其结果与随机结果（瞎蒙）差不多，但是当训练量超过某个阈值的时候，模型的精度突然会暴增。

也就是说，当模型的参数数量超过某个阈值，它会突然展现出远超小模型的强大能力。