手把手教 个人网站开发,制作移动端网站价格,浙江品牌网站设计专家,wordpress无法搜索插件是什么
intro
LeNet→AlexNet→VGG→NiN→GoogLeNet→ResNetLeNet→AlexNet→VGG 卷积层模块充分抽取空间特征全连接层输出分类结果AlexNet VGG 改进在于把两个模块加宽 、加深#xff08;加宽指增加通道数#xff0c;那加深呢#xff1f;#xff08;层数增加叭 Ni…是什么
intro
LeNet→AlexNet→VGG→NiN→GoogLeNet→ResNetLeNet→AlexNet→VGG 卷积层模块充分抽取空间特征全连接层输出分类结果AlexNet VGG 改进在于把两个模块加宽 、加深加宽指增加通道数那加深呢层数增加叭 NiN串联多个卷积层和”全连接层“构成的小网络来构建一个深层网络
网络架构截自原文 input:224 \times 224 \times 3 说实话我真的很好奇它的网络结构输入操作到输出但既然很多资料都没写那也许就是不重要叭大概了解就好了。
如图是一个NIN的结构包括3个mplconv层 个全局平均池化层一个mplconv中是一个3层的感知机1卷积层2个全连接层 作者表示mpl中感知机层数是可以调整的同样mlpconv层作为一个微型网络结构也可以被用在卷积层之间个数随需调整。
上图的网络架构
NiN 3 \times mplconv层 1 \times GAP全局池化层1个mplconv层 1个微型神经网络 ∴ NiN网络中的网络1个mplconv层 内部由多层感知机实现 1个conv 2个fc层mpl感知机的层数是可以调整的mlpconv代替了传统的卷积层GAP代替了传统CNN模型中末尾的全连接层
经典网络结构(三)NiN (network in network)
NiN 块是 NiN 中的基础块 NIN块1个卷积层2个1×1的卷积层 串联而成每一次卷积之后都会进行非线性激活 第一个卷积层的超参数可以自行设置第二个和第三个卷积层的超参数是固定的 NIN 卷积窗口有AlexNet的影子 卷积窗口形状为11×11、5×5、3×3的卷积层、输出通道数与AlexNet一致每个NIN块后接一个stride2 pool_size3×3的最大池化层 去掉了AlexNet最后的3个全连接层 使用了输出通道数标签类别数的NIN块GAP对每个通道中的元素求平均并直接用于分类 GAP 全局平均池化 Global Average Pooling
为什么
公式吧推导代码吧可能
怎么实现
是谁
2014年新加坡国立大学(颜水成) Pytorch之经典神经网络CNN(六)——NiN(Fashion-MNIST)(全局平均池化GAP)(1*1卷积)(mlpconv)(k-fold validation)
在哪儿
2014年ICLR的一篇paper
啥时候
2014年
评价优点、缺点
【深度学习】NIN (Network in Network) 网络
改进1 提供了网络层间映射的一种新可能增加了网络卷积层的非线性能力
改进2 假设分类任务有C个类别。 先前CNN中最后一层为特征图层数共计N的全连接层要映射到C个类别上 改成全局池化层最后一层特征图层数共计C的全局池化层恰好对应分类任务的C个类别。
GAP优点
传统CNN结构卷积以后全连接层经过softmax输出分类最后的全连接层有过拟合的风险GAP 最后的特征图层数 输出类别数没有全连接层需要学习的参数大大减少避免了FC层过拟合的发生
Summary 两个要点
mlpconv MLP11的conv 2Conv 增加非线性变换更好的学习局部特征GAP 全局平均池化 防止过拟合
