问题一: 机器学习的基本流程 _机器学习

机器学习课程期末综合测评
文章目录
问题一: 机器学习的基本流程
要求: 结合线性回归在机器学习中的应用及原理,阐述从样本数据到应用预测的数学基本思想方法,并以视图的形式展示机器学习的基本流程,加以文字描述.
机器学习概览(基本流程)
机器学习的三要素
模型
如果? ( x ) \phi(x) ?(x) 为可学习的非线性基函数,f ( x , θ ) f(x, \theta) f(x,θ) 就等价于神经网络。
学习准则
常见的机器学习类型
线性模型
线性回归是解决回归类问题最常使用的算法模型，其算法思想和基本原理都是由多元统计分析发展而来，但在数据挖掘和机器学习领域中，也是不可多得的行之有效的算法模型。一方面，线性回归蕴藏的机器学习思想非常值得借鉴和学习，并且随着时间发展，在线性回归的基础上还诞生了许多功能强大的非线性模型。
可见，学习线性回归确实非常重要。
我们在进行机器学习算法学习过程中，仍然需要对线性回归这个统计分析算法进行系统深入的学习。但这里需要说明的是，线性回归的建模思想有很多理解的角度，此处我们并不需要从统计学的角度来理解、掌握和应用线性回归算法，很多时候，利用机器学习的思维来理解线性回归，会是一种更好的理解方法，这也将是我们这部分内容讲解线性回归的切入角度。
线性回归的机器学习表示方法
任何机器学习算法首先都有一个最底层的核心逻辑, 当我们在利用机器学习思维理解线性回归的时候, 首先也是要探究其底层逻辑。值得庆辛的是, 虽然线性回归源于统计分析, 但其算法底层逻辑和机器学习算法高度契合。
在给定n \{n} n 个属性描绘的客观事物z = ( x 1 , x 2 , … , x n ) z=\left(x_{1}, x_{2}, \ldots, x_{n}\right) z=(x1?,x2?,…,xn?) 中, 每个都用于描绘某一次观测时事物在某个维度表现出来的数值属性值。当我们在建立机器学习模型捕捉事物运行的客观规律时, 本质上是希望能够综合这些维度的属性值来描绘事物最终运行结果, 而最简单的综合这些属性的方法就是对其进行加权求和汇总，这即是线性回归的方程式表达形式:
y ^ = w 0 + w 1 x i 1 + w 2 x i 2 + … + + w n x i n \hat{y}=w_{0}+w_{1} x_{i 1}+w_{2} x_{i 2}+\ldots++w_{n} x_{i n} y^?=w0?+w1?xi1?+w2?xi2?+…++wn?xin?
w w w被统称为模型的参数, 其中 w 0 w_{0} w0?被称为截距(),$ w_{1} \sim w_{n}被称为回归系数 ( r e g r e s s i o n c o e f f i f f i f f i c i e n t ) , 有时也是使用被称为回归系数( ), 有时也是使用被称为回归系数(),有时也是使用\beta 或者或者或者\theta$来表示。这个表达式, 其实就和我们小学时就无比熟悉的y = a x + b y=a x+b y=ax+b 是同样的性质。其中x i 1 x_{i 1} xi1? 是我们的目标变量, 也就是标签。是样本i i i 上的特征不同特征。如果考虑我们有 m m m个样本, 则回归结果可以被写作:
y ^ = w 0 + w 1 x 1 + w 2 x 2 + … + + w n x n \hat{y}=w_{0}+w_{1} x_{1}+w_{2} x_{2}+\ldots++w_{n} x_{n} y^?=w0?+w1?x1?+w2?x2?+…++wn?xn?
其中y y y 是包含了m \{m} m 个全部的样本的回归结果的列向量 (结构为( m , 1 ) (\{m}, 1) (m,1), 由于只有一列, 以列的形式表示, 所以叫做列向量)。注意, 我们通常使用粗体的小写字母来表示列向量, 粗体的大写字母表示矩阵或者行列式。我们可以使用矩阵来表示这个方程, 其中可以被看做是一个结构为( n + 1 , 1 ) (n+1,1) (n+1,1) 的列矩阵, 是一个结构为( m , n + 1 ) (m, n+1) (m,n+1) 的特征矩阵, 则有:
[ y ^ 1 y ^ 2 y ^ 3 … y ^ m ] = [ 1 x 11 x 12 x 13 … x 1 n 1 x 21 x 22 x 23 … x 2 n 1 x 31 x 32 x 33 … x 3 n … 1 x m 1 x m 2 x m 3 … x m n ] ? [ w ^ 1 w ^ 2 w ^ 3 … w ^ n ] \begin{} {\left[\begin{array}{c} \hat{y}_{1} \\ \hat{y}_{2} \\ \hat{y}_{3} \\ \ldots \\ \hat{y}_{m} \end{array}\right]=\left[\begin{array}{} 1 & x_{11} & x_{12} & x_{13} & \ldots & x_{1 n} \\ 1 & x_{21} & x_{22} & x_{23} & \ldots & x_{2 n} \\ 1 & x_{31} & x_{32} & x_{33} & \ldots & x_{3 n} \\ \ldots & & & & & \\ 1 & x_{m 1} & x_{m 2} & x_{m 3} & \ldots & x_{m n} \end{array}\right] *\left[\begin{array}{c} \hat{w}_{1} \\ \hat{w}_{2} \\ \hat{w}_{3} \\ \ldots \\ \hat{w}_{n} \end{array}\right]} \\ \end{} ???????y^?1?y^?2?y^?3?…y^?m?????????=???????111…1?x11?x21?x31?xm1??x12?x22?x32?xm2??x13?x23?x33?xm3??…………?x1n?x2n?x3n?xmn?????????????????w^1?w^2?w^3?…w^n??????????