线性代数 --- 最小二乘在直线拟合上的应用与Gram

最小二乘在直线拟合上的应用
在前一篇最小二乘的文章中:
线性代数 --- 投影与最小二乘 下(多元方程组的最小二乘解与向量在多维子空间上的投影)_松下J27的博客-CSDN博客多变量方程组的最小二乘 , 向量到多维子空间上的投影 。
我们知道了:1,正规方程,2,计算最优解的方法,3,计算投影的方法
在这篇文章中,我会从最小二乘在拟合直线上的应用开始,先是用实例来说明最小二乘的实际应用 。紧接着,我会从这个例子出发,循序渐进的引出为什么我们希望A的列向量不仅仅是相互独立的,更希望他们是相互正交的 。从而导出,如何令A的列向量彼此正交 , 这就是著名的Gram-正交化 。(需要再次重申的是,学习不是为了考试,不是为了背公式,更不需要题海战术,而是“知其(Gram-)然,知其(Gram-)所以然”)
拟合直线
拟合直线可以说是最小二乘最好的应用之一 。简而言之,就是用m>2个点(也可以说是m个观测点,及其所对应的m个数据)去拟合一条直线 。
对某个实验而言,如果他的实验结果是线性的 , 且没有任何实验误差 , 则两次实验的结果就能确定一条符合这一实验规律的直线b=C+Dt,而且后续所有的实验结果都应当落在这条直线上 。假定现有m个实验结果,他们在横坐标上的值为
,...,
,他们在纵坐标中所对应的值分别是
,...,
。现在我们用方程
=C+D
表示一条穿过这些点的直线,得到如下方程组:
如果m个实验结果都没有误差 , 则,上述方程组有解 , 且有唯一解C,D 。但,如果实验结果有误差,则不可能找到一个完美的C,D , 让这条直线穿过所有的点 。这是一个( )超定方程组,m>2个方程,2个未知数 , 方程组无解 。用矩阵来表示为:
因实验结果的误差导致方程组无解,因此,我们只能找一条尽可能贴近所有点的直线 。对于矩阵A而言 , 他有两个列向量,方程组无解,所以无法通过线性组合得到等式右端的列向量 。在维持A的两个列向量不变的情况下,我们通过新的线性组合
 , 
,在A的列空间中找到了最接近向量b的向量p,即,b在A的列空间C(A)上的投影 。
同时 , 也最小化了每个点与直线之间的纵向误差
,即,最小化
。其中 , 
。(但这不是我推崇的思维,应该优先考虑用投影的角度思考?。?
方程左右两边同时乘以

线性代数 --- 最小二乘在直线拟合上的应用与Gram

文章插图
,得到“正规方程( )”:
(或
,其中P为投影矩阵)
其中等式左边
等于:
等式右边
等于:
最终得到

1:
如图(a),在一个实验中的不同时刻t1,t2,t3下,得到三组测量值b1,b3,b3,分别是(注意,他们并不是等间隔的):
对应的方程组为:
方程组无解 , 因为这三点不在一条直线上 。通过求解最小二乘方程组,联立正规方程

左边

右边

得到:
线性代数 --- 最小二乘在直线拟合上的应用与Gram

文章插图
最终得到最优解为 , 

对应的最佳拟合直线为:
投影p为:
现在我们结合下图(b),从投影的角度来回顾一下这个问题 。向量b无法通过矩阵A的两个列向量[1,1,1]和[-1,1,2]通过线性组合得到 , 因为,b不在A的列空间内 。通过把向量b投影到A的列空间上 , 在A的列空间上找到了一个离向量b最近的向量p,这个投影向量p可以通过A的两个列向量的线性组合得到,线性组合的权重为

:
现在,我们已经得到了最优拟合的直线方程f(t)=9/7+4/7t,我们把t=(-1, 1, 2)时在直线上所对应的点求出来,看看有什么神奇的事发生!
当t=-1时,f(t=-1)=9/7-4/7=5/7 , 当t=1时,f(t=1)=9/7+4/7=13/7,当t=2时,f(t=2)=9/7+8/7=17/7 。然后把这些点绘制到图(a)上,并且把图(a)和图(b)放在一起看 。
接下来我们会看到 , 这两幅图以不同的艺术形式描述了同一个数学问题, 且, 他们是密切相关的!
关联1:投影向量p
最开始,我们在图(a)中,描绘了三个不在同一直线上的数据点(t1=-1,b1=1),(t2=1,b2=1),(t3=2,b3=3) 。然后,我们用投影的方式/求解正规方程的方式求得了最小二乘解
,同时也求出了向量b在A的列空间C(A)上的投影向量p=[5/7, 13/7, 17/7],这些都体现在了图(b)中 。最后,我们根据最优拟合直线的函数,算出了t=(t1,t2,t3)时在直线上所对应的数据点(t1=-1,p1=5/7),(t2=1,p2=13/7),(t3=2,p3=17/7),并绘制到图(a)中 。
可见,投影向量p中三个元素的值,正好是拟合直线上t所对应的点 。对于图(b)而言,用线性代数的语言说,是把b拉到了子空间C(A)上 。对于图(a)而言,通过最小化每个点到最优拟合直线上的距离e1,e2,e3,把本不在同一直线上的三个点b1,b2,b3拉到了同一条直线上 。且p1,p2,p3正好等于投影向量p中元素的值 。
换句话说,“把b投影到A的列空间上”和“把三个原始数据点(t1,b1),(t2,b2),(t3,b3)移到了同一条直线上”,这两个概念是等同的 。
关联2:误差向量e
向量b减去投影向量p,就能得到误差向量e(他垂直于C(A)):
向量e中的每个元素值的含义是什么?实际上就是图(a)中,每个b与p之间的误差 。
(全文完)
作者 --- 松下J27
参考文献(鸣谢):
1,线性代数及其应用,侯自新,南开大学出版社,1990.
2 , and Its ( ) -(文中大部分插图来自于这本书)
3,to,Fifth-
格言摘抄:
吾尝终日而思矣,不如须臾之所学也;吾尝跂而望矣,不如登高之博见也 。---《劝学》
【线性代数 --- 最小二乘在直线拟合上的应用与Gram】(配图与本文无关)