视觉Transformer与卷积神经网络：缩小小数据集上的性能差距

引言

在计算机视觉领域，卷积神经网络（CNN）长期以来一直占据着主导地位，其通过卷积操作有效提取图像中的局部特征，并广泛应用于各种视觉任务。然而，近年来视觉Transformer（ViT）的兴起为这一领域带来了新的可能。尽管ViT在大规模数据集上表现出色，但在小数据集上，其性能往往不及CNN。本文旨在探讨如何缩小这一差距，使ViT在小数据集上也能达到甚至超越CNN的精度。

背景与问题

卷积神经网络（CNN）通过卷积层对图像进行局部特征提取，并利用参数共享和池化操作减少计算量。相比之下，视觉Transformer（ViT）则通过自注意力机制（self-attention）捕捉图像中的全局依赖关系。然而，在小数据集上，ViT由于缺乏足够的训练数据，难以学习到有效的空间相关性和通道多样性表征，这导致其性能受限。

方法与解决方案

为了弥补ViT在小数据集上的不足，本文提出了一种新的方法，通过构建混合模型并引入特定模块来增强ViT的归纳偏置。主要方法包括以下几个方面：

1. 算法主框架

本文采用非金字塔型的Transformer结构，并使用class token进行分类。每个编码器层包含一个头交互的多头注意力（HI-MHSA）和一个动态聚合前馈神经网络（DAFF）。在patch embedding部分，采用了连续重叠的块嵌入模块（SOPE），以增强对图像空间信息的捕捉能力。

2. 连续重叠的块嵌入模块（SOPE）

SOPE模块通过卷积操作进行patch embedding，并引入额外的仿射变换操作，以增加在小数据集上训练时的稳定性。这一设计有助于ViT在训练初期就能更好地关注到图像的局部区域。

3. 动态聚合前馈神经网络（DAFF）

DAFF在原版前馈神经网络的基础上进行了改进，通过加入深度卷积来捕捉领域信息，从而弥补了ViT在空间归纳偏置上的不足。同时，采用shortcut连接维持了全局信息的完整性，并对class token进行信息增强。

4. 头交互的多头注意力（HI-MHSA）

HI-MHSA通过引入head token，将各个注意力头中较弱的物体表征融合形成足够强的表征。在数据送入多头注意力计算前，先进行head token的提取，使得每个注意力头都能获得来自其他头的信息，从而增强整体表征能力。

实验与结果

本文在多个小数据集上进行了“从头训练”的实验，包括CIFAR-100和DomainNet等。实验结果表明，本文提出的方法不仅超越了以往所有的ViT和Hybrid系列方法，还能以较少的参数量超越CNN的精度。同时，在较大的数据集如ImageNet-1K上，本文方法也表现出了优异的性能。

总结与展望

本文通过构建混合模型并引入特定模块，成功缩小了视觉Transformer与卷积神经网络在小数据集上的性能差距。然而，本文方法也存在一定的局限性，如计算代价较大。未来的研究可以进一步探索在计算负担和精度之间进行良好折中的方法，以推动ViT在小数据集上的更广泛应用。

结语

随着计算机视觉技术的不断发展，视觉Transformer与卷积神经网络之间的竞争与合作将持续深入。本文的研究为ViT在小数据集上的应用提供了新的思路和方法，相信在未来会有更多创新性的工作涌现，推动这一领域不断向前发展。