最小二乘法( 三 )


最小二乘法

文章插图
则通过Q最小确定这条直线,即确定β0和β1,把它们看作是Q的函式,就变成了一个求极值的问题,可以通过求导数得到 。求Q对两个待估参数的偏导数:
最小二乘法

文章插图
根据数学知识我们知道,函式的极值点为偏导为0的点 。解得:
最小二乘法

文章插图
这就是最小二乘法的解法,就是求得平方损失函式的极值点 。公式
最小二乘法

文章插图
拟合对给定数据点集合
最小二乘法

文章插图
,在取定的函式类
最小二乘法

文章插图
中,求
最小二乘法

文章插图
,使误差的平方和
最小二乘法

文章插图
最小,
最小二乘法

文章插图
。从几何意义上讲,就是寻求与给定点集
最小二乘法

文章插图
的距离平方和为最小的曲线y=p(x) 。函式p(x)称为拟合函式或最小二乘解,求拟合函式p(x)的方法称为曲线拟合的最小二乘法 。最小二乘法的矩阵形式最小二乘法的矩阵形式为:
最小二乘法

文章插图
其中
最小二乘法

文章插图

最小二乘法

文章插图
的矩阵,
最小二乘法

文章插图

最小二乘法

文章插图
的列向量,
最小二乘法

文章插图

最小二乘法

文章插图
的列向量 。如果
最小二乘法

文章插图
(方程的个数大于未知量的个数),这个方程系统称为矛盾方程组(Over Determined System),如果
最小二乘法

文章插图
(方程的个数小于未知量的个数),这个系统就是Under Determined System 。正常来看,这个方程是没有解的,但在数值计算领域,我们通常是计算
最小二乘法

文章插图
,解出其中的
最小二乘法

文章插图
。比较直观的做法是求解
最小二乘法

文章插图
,但通常比较低效 。其中一种常见的解法是对
最小二乘法

文章插图
进行QR分解(
最小二乘法

文章插图
),其中
最小二乘法

文章插图

最小二乘法

文章插图
正交矩阵(Orthonormal Matrix),
最小二乘法