ICCV2021揭秘：SOTR——利用Transformer实现物体分割的新突破

在今年的国际计算机视觉与模式识别会议（ICCV）上，一种名为SOTR（Segmentation with
Transformers）的新型物体分割方法引起了广泛关注。该方法巧妙地结合了卷积神经网络（CNN）和Transformer的优势，通过强大的特征提取能力和远程依赖建模，实现了高效且精确的物体分割。

传统的物体分割方法大多基于CNN，但由于CNN的感受野有限，导致在大对象上的分割结果往往不尽如人意。此外，这些方法的分割质量和推理速度往往严重依赖目标检测器，在复杂场景下性能较差。为了克服这些缺点，研究者开始尝试将Transformer引入物体分割任务中。

Transformer最初被设计用于自然语言处理任务，由于其强大的远程依赖建模能力，近年来在计算机视觉领域也取得了显著的成果。SOTR方法正是基于这一思路，将Transformer与CNN相结合，构建了一个CNN-Transformer混合实例分割模型。

SOTR模型主要由三部分组成：骨干模块、Transformer和多级上采样模块。骨干模块负责从输入图像中提取图像特征，特别是低层特征和局部特征。Transformer则用于建模全局和语义依赖关系，通过捕获远程信息来增强特征的连贯性。多级上采样模块则将生成的特征图与相应的卷积核进行动态卷积运算，生成最终的分割掩模。

在具体实现上，SOTR构建在简单的FPN（Feature Pyramid Network）主干上，只需最少的修改。该模型将FPN特征P2-P6展平，并在将它们送入Transformer之前用位置嵌入来补充它们。在Transformer之后增加了两个头，用于预测实例类别并产生动态卷积核。

值得一提的是，SOTR方法通过结合CNN和Transformer的优势，既保留了位置和局部相干信息，又能够轻松捕获全局特征和远程语义依赖。这种自下而上的策略使得SOTR在复杂场景下也能够实现精确的物体分割。

在实际应用中，SOTR表现出了卓越的性能。无论是在分割质量还是推理速度上，SOTR都取得了显著的提升。此外，由于其对不同场景的数据集具有较好的泛化能力，使得SOTR在实际应用中具有更广泛的适用性。

总之，SOTR作为一种新型的物体分割方法，在ICCV2021上展示了其强大的潜力和实际应用价值。该方法通过结合CNN和Transformer的优势，实现了高效且精确的物体分割。随着计算机视觉技术的不断发展，相信SOTR方法将在未来为计算机视觉领域带来更多的启示和突破。