偏差和方差举例

思考一下，我们的“猫分类”任务目标：一个“理想的”分类器（比如人类）在这个任务中能够取得近乎完美的表现。

假设你的算法表现如下：

• 训练错误率 = 1%
• 开发错误率 = 11%

这其中存在什么问题呢？根据前一章的定义，我们估计偏差为 1%，方差为 10%（=11%-1%）。因此，它有一个很高的方差（high variance）。虽然分类器的训练误差非常低，但是并没有成功泛化到开发集上。这也被叫做过拟合（overfitting）。

接下来，考虑如下情况：

• 训练错误率 = 15%
• 开发错误率 = 16%

我们估计偏差为 15%，方差为 1%。该分类器的错误率为 15%，没有很好地拟合训练集，但它在开发集上的误差不比在训练集上的误差高多少。因此，该分类器具有较高的偏差（high bias），而方差较低。我们称该算法是欠拟合（underfitting）的。

下面，考虑如下情况：

• 训练错误率 = 15%
• 开发错误率 = 30%

我们估计偏差为 15%，方差为 15%。该分类器有高偏差和高方差（high bias and high variance）：它在训练集上表现得很差，因此有较高的偏差，而它在开发集上表现更差，因此方差同样较高。由于该分类器同时过拟合和欠拟合，过拟合/欠拟合术语很难准确应用于此。

最后，考虑如下情况：

• 训练错误率 = 0.5%
• 开发错误率 = 1%

该分类器效果很好，它具有低偏差和低方差。恭喜获得这么好的表现！