【轻量级】轻量级网络结构总结 _精度

-Wise 是最近两年比较火的一种模块结构。这个结构第一次出现是在一篇博士论文中，L. Sifre. Rigid-for image . hD , Ph. D. , 2014. 功力可想而知…
: -levelwith 50x fewerand
这篇是ICLR 2017（2016年上传到arxiv）的文章.主要针对模型压缩的.使用的是分类网络中的为代表.
目前很多方法都是只关注精度的，但是在同等精度的情况下，小的模型很多优点，比如：（１）训练等更快（２）在部署时更少的带宽要求，例如自动驾驶汽车（３）可以部署到FPGA等.正是由于有这些优点，本文提出了一种小的CNN架构，.实现了模型参数减少了50倍.在受用模型压缩技术情况下，可以做到减少510倍参数，只有0.5MB的模型大小.
work
模型压缩方面：本文工作的首要目标是确认一个模型，保证精度的情况下使用很少的参数.目前已经有许多模型压缩的方法了：SVD；设置阈值的方法；Deep 等.
CNN网络模块方面：目前有等.
CNN网络架构方面：目前有等.
本文针对保持精度减少参数提出了三个策略：(1)用来代替(2)减少的输入通道数(3)推迟下采样，保证网络有大的 maps.很容易看出来，(1)(2)是为了减少参数的，而(3)是为了在限制的参数数量条件下提高精度的.
针对(1)(2)本文提出了一种网络模块Fire .

文章插图
针对(3)，本文对Fire 进行了组合，创建了.

文章插图
这部分做了本文提出的性能与其他方法的比较.

文章插图
这一部分来分析Fire 中超参数的合适取值，来保证准确率.

文章插图
接着实验说明了结构的使用对结果的影响.
Code
: Deepwith
是2016.10的文章，由提出，发表于CVPR 2017 。值得一提的是，作者只有一个人。
认为在卷积操作中和相关性是可以解耦的，而普通的卷积时将两者混合起来进行的运算。通过解耦这两部分，可以精确控制和上的运算，实验上可以提高性能。

文章插图

文章插图
因此，中的’X’是的意思.
和原depth有两个不同点：(1)DWC是先-wise，然后point-wise(1x1)而与之相反，先point-wise，然后-wise.
总体架构如下：

文章插图

文章插图
这个网络虽然不是针对轻量级网络进行设计的，但是depth-wiseconv可以减少网络参数，提高网络性能，在后几篇文章中均使用这个思想。
Codev1
:for
CVPR 2017的论文，团队.
利用depth-wise构建轻量级DNN. 同时引入了两个超参数来权衡精度和速度：width&.
DSC可以减少参数，并提高性能，也是受的启发

文章插图
同时，为了使用不同应用场景，加入了两个超参数width(通道乘数/乘子) &(分辨率乘子)