吴恩达 机器学习课程笔记( 二 )


即使学习率α不变,梯度下降也会在趋近最优点的过程中,由于导数的减小,自动缩小步伐,直至到达最优点
2-7 线性回归的梯度下降 在线性回归函数中,运用梯度下降算法求解最小化代价函数,最关键的问题是写好更新θ_j的算法 。
在梯度下降算法中带入线性回归函数函数,得到如下图所示的赋值等式:
第一次介绍梯度下降算法时,介绍了梯度下降算法容易陷入局部最优解,如下所示:
但是,在线性回归的代价函数中,只有一个最优解 。
计算这种代价函数时,只要使用线性回归函数,它总是能收敛到全局最优 。当θ_0,θ_1逐步向中心点靠近,假设函数h(θ_x)找到最优拟合曲线 。
刚刚所使用的梯度下降算法又名Batch算法:在每一步的梯度下降中,使用了所有的训练样本 。
3-3 矩阵向量乘法
利用矩阵向量乘法,简化预测房子价格的代码: