四、深层对比
前言
随着深度学习的不断发展,从开山之作到VGG,网络结构不断优化,但是在VGG网络研究过程中,人们发现随着网络深度的不断提高,准确率却没有得到提高,如图所示:
人们觉得深度学习到此就停止了,不能继续研究了,但是经过一段时间的发展,残差网络()解决了这一问题 。
一、
如图所示:简单来说就是保留之前的特征,有时候当图片经过卷积进行特征提取,得到的结果反而没有之前的很好,所以提出保留之前的特征,
这里还需要经过一些处理,在下面代码讲解中将详细介绍 。
二、网络结构
本文将主要介绍
三、 1.导包
import torchimport torchvision.transforms as transimport torchvision as tvimport torch.nn as nnfrom torch.autograd import Variablefrom torch.utils import datafrom torch.optim import lr_scheduler
2.残差模块
这个模块完成的功能如图所示:
class tiao(nn.Module):def __init__(self,shuru,shuchu):super(tiao, self).__init__()self.conv1=nn.Conv2d(in_channels=shuru,out_channels=shuchu,kernel_size=(3,3),padding=(1,1))self.bath=nn.BatchNorm2d(shuchu)self.relu=nn.ReLU()def forward(self,x):x1=self.conv1(x)x2=self.bath(x1)x3=self.relu(x2)x4=self.conv1(x3)x5=self.bath(x4)x6=self.relu(x5)x7=x6+xreturn x7
2.通道数翻倍残差模块
模块完成功能如图所示:
![经典卷积神经网络——resnet](http://img.gansulong.com/230920/150114MK-0.png)
文章插图
在这个模块中,要注意原始图像的通道数要进行翻倍,要不然后面是不能进行相加 。
class tiao2(nn.Module):def __init__(self,shuru):super(tiao2, self).__init__()self.conv1=nn.Conv2d(in_channels=shuru,out_channels=shuru*2,kernel_size=(3,3),stride=(2,2),padding=(1,1))self.conv11=nn.Conv2d(in_channels=shuru,out_channels=shuru*2,kernel_size=(1,1),stride=(2,2))self.batch=nn.BatchNorm2d(shuru*2)self.relu=nn.ReLU()self.conv2=nn.Conv2d(in_channels=shuru*2,out_channels=shuru*2,kernel_size=(3,3),stride=(1,1),padding=(1,1))def forward(self,x):x1=self.conv1(x)x2=self.batch(x1)x3=self.relu(x2)x4=self.conv2(x3)x5=self.batch(x4)x6=self.relu(x5)x11=self.conv11(x)x7=x11+x6return x7
3.模块
class resnet18(nn.Module):def __init__(self):super(resnet18, self).__init__()self.conv1=nn.Conv2d(in_channels=3,out_channels=64,kernel_size=(7,7),stride=(2,2),padding=(3,3))self.bath=nn.BatchNorm2d(64)self.relu=nn.ReLU()self.max=nn.MaxPool2d(2,2)self.tiao1=tiao(64,64)self.tiao2=tiao(64,64)self.tiao3=tiao2(64)self.tiao4=tiao(128,128)self.tiao5=tiao2(128)self.tiao6=tiao(256,256)self.tiao7=tiao2(256)self.tiao8=tiao(512,512)self.a=nn.AdaptiveAvgPool2d(output_size=(1,1))self.l=nn.Linear(512,10)def forward(self,x):x1=self.conv1(x)x2=self.bath(x1)x3=self.relu(x2)x4=self.tiao1(x3)x5=self.tiao2(x4)x6=self.tiao3(x5)x7=self.tiao4(x6)x8=self.tiao5(x7)x9=self.tiao6(x8)x10=self.tiao7(x9)x11=self.tiao8(x10)x12=self.a(x11)x13=x12.view(x12.size()[0],-1)x14=self.l(x13)return x14
这个网络简单来说16层卷积,1层全连接,训练参数相对较少,模型相对来说比较简单 。
4.数据测试
model=resnet18().cuda()input=torch.randn(1,3,64,64).cuda()output=model(input)print(output)
5.损失函数,优化器
损失函数
loss=nn.CrossEntropyLoss()
在优化器中,将学习率进行每10步自动衰减
opt=torch.optim.SGD(model.parameters(),lr=0.001,momentum=0.9)exp_lr=lr_scheduler.StepLR(opt,step_size=10,gamma=0.1)
- 五 CNN经典网络模型:ResNet简介及代码实现(PyTorch超详细注释版
- 深度学习_经典网络_ResNet详解及常见问题总结
- 三 深度学习笔记:神经网络之九种激活函数Sigmoid、tanh、ReLU、R
- 干货:10个超经典JavaIDE插件,建议收藏!
- 八 花书读书笔记-卷积网络
- 花书-卷积神经网络
- 大话东游
- 复古装修
- 佳能s3is
- 今年的韩剧排行榜,经典韩剧排行榜