如何理解SENet

如何理解SENet，相信很多没有经验的人对此束手无策，为此本文总结了问题出现的原因和解决方法，通过这篇文章希望你能解决这个问题。

SENet是ImageNet 2017（ImageNet收官赛）的冠军模型，和ResNet的出现类似，都在很大程度上减小了之前模型的错误率（具体见附录），并且复杂度低，新增参数和计算量小。下面就来具体介绍一些SENet的神奇之处。

SENet的全称是Squeeze-and-ExcitationNetworks，中文可以翻译为压缩和激励网络。主要由两部分组成：

1. Squeeze部分。即为压缩部分，原始feature map的维度为H*W*C，其中H是高度（Height），W是宽度（width），C是通道数（channel）。Squeeze做的事情是把H*W*C压缩为1*1*C，相当于把H*W压缩成一维了，实际中一般是用global average pooling实现的。H*W压缩成一维后，相当于这一维参数获得了之前H*W全局的视野，感受区域更广。

2. Excitation部分。得到Squeeze的1*1*C的表示后，加入一个FC全连接层（Fully Connected），对每个通道的重要性进行预测，得到不同channel的重要性大小后再作用（激励）到之前的feature map的对应channel上，再进行后续操作。

可以看出，SENet和ResNet很相似，但比ResNet做得更多。ResNet只是增加了一个skip connection，而SENet在相邻两层之间加入了处理，使得channel之间的信息交互成为可能，进一步提高了网络的准确率。

SENet可以随意插入到任何网络中，提升效果也是比较显著的，论文中给的结果是有0.4%~1.8%范围的error减小。

训练的曲线也很漂亮，最下面橙色的即为SENet的结果：

附录：

ImageNet分类Top5错误率：

2014 GoogLeNet  6.67%

2015 ResNet         3.57%

2016 ~~~             2.99%

2017 SENet           2.25%

看完上述内容，你们掌握如何理解SENet的方法了吗？如果还想学到更多技能或想了解更多相关内容，欢迎关注亿速云行业资讯频道，感谢各位的阅读！