最小二乘法


最小二乘法

文章插图
最小二乘法最小二乘法(又称最小平方法)是一种数学最佳化技术 。它通过最小化误差的平方和寻找数据的最佳函式匹配 。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小 。最小二乘法还可用于曲线拟合 。其他一些最佳化问题也可通过最小化能量或最大化熵用最小二乘法来表达 。
基本介绍中文名:最小二乘法
外文名:Least squares
别称:最小平方法 
提出者:马里·勒让德
提出时间:1806年
套用学科:数学
适用领域範围:代数
适用领域範围:曲线拟合
历史1801年,义大利天文学家朱赛普·皮亚齐发现了第一颗小行星穀神星 。经过40天的跟蹤观测后,由于穀神星运行至太阳背后,使得皮亚齐失去了穀神星的位置 。随后全世界的科学家利用皮亚齐的观测数据开始寻找穀神星,但是根据大多数人计算的结果来寻找穀神星都没有结果 。时年24岁的高斯也计算了穀神星的轨道 。奥地利天文学家海因里希·奥尔伯斯根据高斯计算出来的轨道重新发现了穀神星 。高斯使用的最小二乘法的方法发表于1809年他的着作《天体运动论》中 。法国科学家勒让德于1806年独立发明“最小二乘法”,但因不为世人所知而默默无闻 。勒让德曾与高斯为谁最早创立最小二乘法原理髮生争执 。1829年,高斯提供了最小二乘法的最佳化效果强于其他方法的证明,因此被称为高斯-马尔可夫定理 。(来自于wikipedia)适用领域代数,数学学科线性最小二乘的基本公式考虑超定方程组(超定指未知数小于方程个数):
最小二乘法

文章插图
其中m代表有m个等式,n代表有 n 个未知数
最小二乘法

文章插图
,m>n ;将其进行向量化后为:
最小二乘法

文章插图
最小二乘法

文章插图

最小二乘法

文章插图

最小二乘法

文章插图
显然该方程组一般而言没有解,所以为了选取最合适的
最小二乘法

文章插图
让该等式"儘量成立",引入残差平方和函式S
最小二乘法

文章插图
(在统计学中,残差平方和函式可以看成n倍的均方误差MSE)当
最小二乘法

文章插图
时,
最小二乘法

文章插图
取最小值,记作:
最小二乘法

文章插图
通过对
最小二乘法

文章插图
进行微分求最值,可以得到:
最小二乘法

文章插图
如果矩阵
最小二乘法

文章插图
非奇异则
最小二乘法

文章插图
有唯一解:
最小二乘法

文章插图
原理在我们研究两个变数(x,y)之间的相互关係时,通常可以得到一系列成对的数据(x1,y1.x2,y2... xm,ym);将这些数据描绘在x -y直角坐标系中,若发现这些点在一条直线附近,可以令这条直线方程如(式1-1) 。