最速下降法步长,最速下降法步长( 二 ) _生活百科

拟牛顿法与牛顿法的迭代过程一样，仅仅是各个Hesse矩阵的求解方法不一样。
在远离极小值点处，Hesse矩阵一般不能保证正定，使得目标函数值不降反升。而拟牛顿法可以使目标函数值沿下降方向走下去，并且到了最后，在极小值点附近，可使构造出来的矩阵与Hesse矩阵“很像”了，这样，拟牛顿法也会具有牛顿法的二阶收敛性。
对目标函数f(X)做二阶泰勒展开：
两边对X求导
当X=Xi时，有
这里我们用Hi来代表在点Xi处的Hesse矩阵的逆，则
(5)式就是拟牛顿方程。
下面给出拟牛顿法中的一种--DFP法。
令
我们希望Hi+1在Hi的基础上加一个修正来得到：
给定Ei的一种形式：
m和n均为实数，v和w均为N维向量。
(6)(7)联合起来代入(5)可得：
下面再给一种拟牛顿法--BFGS算法。
(8)式中黑色的部分就是DFP算法，红色部分是BFGS比DFP多出来的部分。
BFGS算法不仅具有二次收敛性，而且只有初始矩阵对称正定，则BFGS修正公式所产生的矩阵Hk也是对称正定的，且Hk不易变为奇异，因此BFGS比DFP具有更好的数值稳定性。
最速下降法步长

文章插图
最速下降法是以负梯度方向作为极小化算法的下降方向，又称为梯度法，是无约束最优化中最简单的方法。
从点x1 沿着最速下降方向d，以步长λ到达点x2，数学上可以写为x2 = x1 + λ*d 。这里的d的表达式已经从理论给出，那么问题就变成，寻找合适的λ使得目标函数值 f(x1+λ*d)最小，这本身又是一个最小化问题。
通常所谓的迭代算法，就是指，在某一个给定误差范围内，通过迭代关系 x(k +1)=x(k)+λ(k)*d(k)分别求解相应的 λ(k)和d(k)的过程。当然，每一步求解的x(k +1)都必须在约束范围内。
简单说来就是由起点x(k)，方向d(k)，步长λ(k)求出下一点x(k +1)，然后将x(k +1)代回原方程，原方程变为一个关于步长λ的方程，求解方程最小时的λ值，即方程关于λ求导，等于0时的λ值。
最优化Goldstein算法确定步长的最速下降法，matlab怎么编

文章插图
1 无约束非线性最优化问题常用算法：梯度法（最速下降法）、共轭梯度法、变尺度法和步长加速法。其中，前三个要用到函数的一阶导数或二阶导数，适用于函数表达式导数存在且求导简单的情况，而步长加速法则相反，适用于函数表达示复杂，甚至无解析表达式，或导数不存在情况。2 约束非线性最优化问题常用算法：按照是否化成无约束问题可分为可行方向法、制约函数法（外点法和点法），其中点法适用于目标函数在可行域外性质复杂情况，外点法则相反。后者根据罚函数或障碍函数的构造不同，又有不同的变形。
最速下降法求解,用matlb做，但是不能直接用里面的函数，里面的epsilon是终止误差，不是步长，谢谢~

文章插图
%　预分配数组空间提高效率
x1 = zeros(1,10000); x2 = zeros(1,10000);
fval = zeros(1, 10000);
% x1,x2的初始值
x1(1) = 4; x2(1) = 4;
% 计算f初值
fval(1) = 2*x1(1)^2+0.3*x2(1)^2;
% 步长控制
step = 0.1;
% 精度控制
epsilon = 0.01;
i = 2; % 迭代计数
while 1
dir1 = 4*x1(i-1); % f对x1的偏导数
dir2 = 0.6*x2(i-1); % f对x2的偏导数
dir = sqrt(dir1^2+dir2^2); % 梯度向量的模
if (dir < 1) % 在梯度向量的模较小时，不再归一化以提高精度
dir = 1;
end;

最速下降法步长,最速下降法 步长( 二 )

最速下降法步长,最速下降法步长( 二 )