代价函数Cost Function ，损失函数Loss Function _风险

损失函数，代价函数，目标函数损失函数（Loss）是定义在单个样本上的，算的是一个样本的误差。代价函数（Cost）是定义在整个训练集上的，是所有样本误差的平均，也就是损失函数的平均(经验风险) 。目标函数（）定义为：最终需要优化的函数。等于经验风险+结构风险（也就是代价函数 +正则化项）。代价函数最小化，降低经验风险，正则化项最小化降低
经验风险 risk，期望风险 risk，结构风险 risk 经验风险risk
经验风险就是模型f(X)在训练数据集上的平均损失(损失函数的值)，也称之为经验损失。
为什么叫经验风险呢？提供一个记忆的方法，由于训练数据集是我们已知的，那么就是我们的经验了，在训练集上的损失自然可以理解成经验损失，或者经验风险。
期望风险risk
期望风险就是模型f(X)在全部数据集上的平均损失。这里全部数据集包括了训练集，验证集，也包括可能未知的测试集。
由于测试集我们是在模型训练完之后才产生，所以一般我们很难估计期望风险。

文章插图
一个很自然的想法就是用经验风险估计期望风险。但是，由于现实中训练样本数目有限，甚至很小，所以用经验风险估计期望风险常常并不理想，要对经验风险进行一定的矫正，这就是我们下面要谈到的结构风险。
结构风险risk
结构风险就是经验风险加上正则化项。
【代价函数Cost Function ，损失函数Loss Function】如果你不了解正则化项，那么可以了解一下这篇文章正则化项为什么能够防止过拟合？防止过拟合的方法
为什么叫结构呢？因为正则化项表征模型参数大小，模型参数可以理解成模型的结构。所以这个风险函数称之为结构风险。
原文链接：
原文链接：
SRM 原理
结构风险 = 经验风险 + 置信风险（正则化项）
优化理论中，最小结构化风险主要是样本上的经验风险，在考虑防止过拟合的前提下，可以通过添加正则项以最小化置信风险。
在样本容量足够大的情况下，经验风险趋近于结构风险，由于经验风险最小化可保证学习效果，因此其在现实中被广泛使用。
SRM 应用
贝叶斯估计中，最大后验概率估计即结构化风险最小化。
其中模型遵从条件概率分布，损失函数为对数损失函数，模型的复杂度由模型先验概率表示，结构风险最小化即最大后验概率估计
原文链接：
损失函数
原文链接：