1、线性回归、logistic回归和一般回归 _回归

文章目录2、支持向量机SVM3、决策树
涉及到：线性回归、回归和一般回归；支持向量机SVM；K-means聚类算法；神经网络；深度学习LSTM；决策树，集成学习（，随机森林）；主成分分析；线性判别分析；典型关联分析；规则化和模型选择；1、线性回归、回归和一般回归（1）误差平方和
（2）交叉熵损失
（3）的损失函数
(4)线性判别分析的目标函数
希望最小化类内协方差使投影后的同类样本点尽可能接近，最大化类中心距离使异类样本尽可能远离。下面是希望最大化的目标。
它可以通过广义瑞利商J来表示，利用定义的类内散度矩阵和类间散度矩阵，可使用拉格朗日乘子法解决。
2、支持向量机SVM （1）硬间隔支持向量机
（2）软间隔支持向量机
（3）支持向量回归

文章插图
（3）替代损失
（4）核函数
3、决策树（1）决策树与条件概率的关系
决策树表示给定特征条件下，类的条件概率分布，这个条件概率分布表示为特征空间的划分。将特征空间根据各个特征值不断进行划分，就将特征空间分为了多个不相交的单元，在每个单元定义了一个类的概率分布，这样，这条由根节点到达叶节点的路径就成了一个条件概率分布。
【1、线性回归、logistic回归和一般回归】各叶结点上的条件概率往往偏向某一个类。根据输入的测试样本，由路径找到对应单元的各个类的条件概率，并将该输入测试样本分为条件概率最大的一类中，就可以完成对测试样本的分类。