入门 小白的逻辑回归学习笔记( 二 )


多分类时的调用也是一样的,不过对应多个逻辑回归模型,例如3分类对应3个逻辑回归模型(相当于做了3次one vs rest)的各参数说明可以参考官方文档,或者参考下这篇文章,讲的非常详细 。
逻辑回归部分要点总结 的优缺点总结
优点:
1、将预测范围压缩至[0,1]
2、使模型更加关注分类边界(只在0附近敏感)
3、作输出层时使模型结果具有概率上的解释性
缺点:
1、容易造成梯度消失
2、由于以0为中心,梯度为全正或全负,优化时为“之”字线路,故寻找最优参数耗时较长
3、包含指数函数,计算代价较高
关于逻辑回归的其它要点
离散化
LR 属于广义线性模型,表达能力有限,离散化后每个变量有单独的权重,这相当于引入了非线性,能够提升模型的表达能力,离散后特征可以进行特征交叉,提升拟合能力,且特征离散后模型鲁棒性更强,相当于引入了正则化 。
与其它模型的对比(线性回归、SVM、最大熵模型)以及逻辑回归的并行运算,上面提到的那位大佬讲得非常详细 。
【机器学习】逻辑回归(非常详细)
种群竞争模型 — (Lotka-模型) 回归
-逻辑回归
《深度学习原理与实践》黄理灿
《机器学习实战—基于平台的机器学习理论与实践》星环科技人工智能平台团队
【入门小白的逻辑回归学习笔记】代码部分参考教程