ViT(Vison Transformer)学习

Paper:An image is worth 16×16 words: transformers for image recognition at scale. In ICLR, 2021.

Transformer 在 NLP领域大放异彩，并且随着模型和数据集的不断增长，仍然没有表现出饱和的迹象。这使得使用更大规模的数据对Transformer结构进行训练得到表现更优的模型成为了一种解决问题的方案。受 NLP 中 Transformer 成功的启发，作者尝试将标准 Transformer 直接应用于图像，并进行尽可能少的修改。为此，作者将图像拆分为补丁，并提供这些补丁的线性嵌入序列作为 Transformer 的输入。 在 NLP 应用程序中，图像补丁的处理方式与标记（单词）相同。 并以监督方式训练图像分类模型。

模型概述

主要流程如下：

• 将图像分割成固定大小的块，作为三维张量
• 将三维张量向量化为一维序列
• 对一维序列采用共享参数的Dense层进行嵌入
• 将线形层输出结果进行位置嵌入编码，输入给多层Transformer叠加的 Transformer Encoder 进行编码
• 对编码结果进行 Softmax，以输出作为分类矩阵

张量向量化

将分割的图像块张量扁平化为向量

对向量进行嵌入

采用Dense层对向量进行嵌入

同时，所有的 Dense 层共享参数信息

对 embedding 进行位置编码

即对位置信息进行编码并与 embedding 进行加和

使用Transformer Encoder 进行处理

将编码结果输入多层堆叠的 Transformer，并最终使用 [CLS] 的输出作为分类结果

大数据集预训练

模型在大规模数据集上进行预训练，在目标数据集上进行 finetuning ,并最终在目标数据集的测试集上进行测试