【AI100问(66)】什么是奥卡姆剃刀准则？

机器学习里有一条著名的原则：如果两个模型具有类似的性能，那么选更简单的那个。这条原则称为奥卡姆剃刀准则（Occam’s Razor）。奥卡姆是个人名，英国中世纪哲学家。奥卡姆剃刀倒不是说奥卡姆给人剃头，而是比喻用法，意思是“删掉不必要的复杂性”[1]。

奥卡姆剃刀是一个准则，而不是一个定理。这一准则首先来源于人们对简洁性的追求。牛顿就曾说过，“对于同样的自然现象，我们必须尽可能地归于同一原因”[1]。这一准则被接受的另一个原因是简单的理论容易验证，且普适性更强。一个可被验证的简单理论总是比一个难以验证的复杂理论更让人放心。

在机器学习中，奥卡姆剃刀准则用来对抗过拟合。所谓过拟合，是指当训练数据比较少而模型相对复杂时，模型将与训练数据过于契合，以致缺少对其它数据的处理能力。这好像一个聪明的学生，把所有精力都放在一本书上，所有细节都记得一清二楚，但考试时考的并不是书上的内容，反而不会做了。

如何防止过拟合呢？一个办法就是不要选过于复杂的模型，至少在有足够的经验证据之前，先从简单的模型入手。简单模型的参数量小，学习能力较弱，但是当数据不足时，反而不容易学偏。这就是奥卡姆“若无必要，勿增实体”的剃刀准则。