花书-卷积神经网络 _卷积

知识框架
卷积
池化（引入了平移不变性，）
全局连接层（多层感知机）
卷积神经网络
应用(分类上)
图像分类大赛(网络比人类识别图像的性能还要好，深度也越来越深)
各大CNN模型
重难点
参考资料：(CNN祖爷爷-LeNet,)
非线性激活函数：（隐含层越多，非线性表示的能力也越强；）
神经元个数越多，隐含层的数量越多，非线性的变换越多，对非线性的表示越强，但同时也会造成过拟合。
正则化或者的方法解决过拟合，大而化的学到底层的知识，而不是学到其噪音的东西。
线性求和加入非线性的运算(也叫挤压函数)
不要做宽而浅的网络而是要做窄而深的网络
多层神经网络等价于全连接层（判断一篇文章是否是好文章）（线性分类模型无法分类非线性模型）
局部感受野(底层到高层的变化，直到分类)，(邮政编码识别)
原先错误的想法（丢失了图像的原信息，空间信息）
于是引入了卷积的操作（卷积层可以认为是对特征的提取，池化是将图像变小了，大而化之的变模糊了，连接层是融合处理。）
卷积操作（绿色输入部分，黄色感受野，红色卷积核）
补0，操作（补0的作用使得特征不会越来越小）
每一个卷积核生成一个 map，多少个卷积核生成多少个 map
三维的操作
卷积核是检测眼睛的：提取定义的卷积，符合的话，则 map值就很高。（卷积核的作用）
卷积层（y=wTx+b）有多少个卷积核就有多少个 map,图片大小取决于下采样和。

文章插图
池化层(引入平移不变性，具备泛化能力)：选出最有代表性的特征。池化层使得卷积神经网络具有平移不变性。
池化的作用：1.减少参数量；2.防止过拟合；3.平移不变性；
全连接层：全连接层一般用在最后，就是将前面的特征进行汇总和交融，得到最后的结果。
卷积核的核数都在往上增加，得到的特征越来越细分。输出层就是一个线性分类。（输出层有10个神经元就有10个分类）
LeNet-5网络：输出层是10分类的形式。
CNN的反向传播-梯度更新:在反向传播的过程中，对每一个权重梯度进行更新，使得损失最小化。
卷积神经网络保持平移，缩放，变形不变性的原因。（深度学习的弊端是可解释性不强，尝试用各种办法打破这个黑盒子。使得可解释性。）
提取的特征越到高层越抽象画，比如对眼睛更加敏感的特征。（学计算机视觉要学一手知识，不能学二手知识。论文是重要载体。论文与代码是学术的爸爸与妈妈。）
VGG可视化：（越到高层越复杂，越具有不可解释性。）有多少个卷积核就会产生多少个 map.
计算输出大小（(输入的宽-核的宽)/步长+1）
使得输入与输出的大小一致，P的计算公式。
1x1的卷积：
卷积的运算。每次一个卷积操作就是一个神经元，一个神经元的计算。
【花书-卷积神经网络】卷积神经网络的三大特征（局部连接，参数共享，下采样）
最大池化
平均池化
卷积-池化-卷积-池化-展平-全连接层-激活函数ReLU--
本章的目的是说明卷积网络提供的各种工具。9卷积网络 9.1卷积运算
卷积神经网络，是一种用来处理具有类似网络结构的数据的神经网络。例如时间序列(认为是在时间轴上有规律地采样形成的一维网格)和图像数据(看做二维的像素网络) 。
卷积是一种特殊的线性运算。卷积网络是指那些至少在网络的一层中使用卷积运算来替代一般的矩阵乘法运算的神经网络。