SpineNet有什么特点

本篇内容介绍了“SpineNet有什么特点”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！

由于编码器部分的解码器结构的分辨率不断降低，分类问题得到了很好的解决。然而，这种架构不能有效地生成用于目标检测(同时识别和定位)所需的强多尺度特征。

SpineNet和之前的主干网络有什么不同？

一个特征的存在可能需要高分辨率来检测，而它的确切位置不需要以同样高的精度来确定。

尺度递减的主干的缺点

• 主干网模型通常是指编码器-解码器架构(即编码器)内的缩小尺度的网络。

• 由于编码器的任务是从输入中计算特征表示，一个缩小的主干将不能容纳空间信息。

• 随着层次的加深，特征会变得更加抽象，更少的局部化，这使得解码器很难找到确切需要的特征。

提出的新方法

为了克服局部化中多尺度特征获取和检索的困难，引入了具有跨尺度连接的scale-permuted模型，并进行了以下改进：

1. 特征图的尺度可以灵活的增加和减少，可以在体系结构中的任何时间通过permuting block的方式增加或减少，而不是以前的严格减少的模式。这将支持空间信息的维护。

2. 特征图的连接允许跨特征尺度进行，以便从多个尺度进行特征融合。

方法和结构

神经网络搜索 (NAS)

• 采用NAS的方法来选择SpineNet的架构。

• NAS使用强化学习控制器。它提出了各种各样的架构，并将这些架构送到他们接受充分训练的环境中。

• 输出准确度将作为一种奖励，选择架构的决定将依赖于它。

图3：重采样操作

评估来自ResNet的SpineNet结构

• scale-permuted模型是对ResNet结构中的block进行permuting形成的。

• 为了比较全尺度缩减的网络和scale-permuted网络，生成了许多中间模型，这些模型逐渐将架构转换为scale-permuted的形式。

图5：通过重复block来增加模型深度。从左到右：SpineNet-49，SpineNet-49，SpineNet-143中的block。

结果对比

针对目标检测和图像分类任务进行了实验，以证明该架构的通用性。

目标检测

将ResNet-FPN骨干模型替换掉，使用RetinaNet检测器来完成目标检测任务。模型在COCO test-dev数据集上进行评估，并在train2017上进行训练。

• 下面的结果(图6)显示了SpineNet模型在很大程度上优于其他流行的检测器。SpineNet-190获得最高的52.1%的AP。通常，SpineNet架构需要更少的FLOPs和更少的参数，这使得模型的计算成本更低。

图7：R50-FPN和scale-permuted模型在COCO val2017上的结果对比

• 与ResNet-FPN和NAS-FPN骨干相比，采用SpineNet骨干的RetinaNet模型获得了更高的AP评分，且FLOPs显著减少(图8)。

图9：在ImageNet和iNaturalist上的图像分类结果

以上结果表明，SpineNet不仅能够更好地进行目标检测，而且对于图像分类等其他视觉学习任务也具有足够的通用性。

Scale-Permutation和Cross-Scale Connections的重要性

我们在编解码器网络中选择了Fish和Hourglass 两种常见的结构形式，并与R0-SP53模型进行了比较。所有模型中的交叉连接都是使用NAS学习的。

Scale-Permutation

• 由此得出的结论是，联合学习scale-permutations和cross-scale connections (R0-SP53)优于只学习固定架构/固定块顺序(Hourglass 和Fish)上的connections。

• 在提出的模型R0-SP53中，AP得分较高**(40.7%)**。

图11：学到的cross-scale connections的重要性

“SpineNet有什么特点”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注亿速云网站，小编将为大家输出更多高质量的实用文章！