过拟合和欠拟合

  在机器学习寻找假设的过程中可能会出现过拟合和欠拟合的现象，那什么是过拟合和欠拟合呢？

  我们客观上认为，给定一个假设空间H，一个假设a∈H，如果存在其他的假设α∈H，使得在训练样例上a的错误率比α的小，但在整个实例分布上α的错误率比a的小，那么就说假设a过度拟合训练数据。

  一般而言，我们认为参数过多是造成过拟合的原因。其实，这只是过拟合的一种表现。有的时候参数过少也会造成过拟合，但这种情况出现极其少！举个例子，假设你在做分类任务，你的训练样例上只有两个（1、outlook=Rain，Wind=Weak、Temperature=Cool，Humidity=Normal，PalyTennis=Yes;2、outlook=Rain，Wind=Weak，Temperature=Cool，Humidity=Strong,PalyTennis=Yes;）,我们依此做一个分类器。在两个训练样例的情形下，直接可以用特征Humidity进行分类，且很好的分类训练样例。但是稍微学过的机器学习的人都会觉得这样的分类器经不起推敲，这是因为参数太少了，出现了“黑天鹅”和“白天鹅”的现象。

  至于欠拟合则是因为所选参数太少无法刻画出训练样例的基本关系，或者是所选的参数不太好，不能反映问题所需。

（上述只是定性的介绍了欠拟合和过拟合，关于欠拟合和过拟合定量的介绍以及它们的解决办法将在以后介绍！）