包年seo和整站优化,苏州做网站建设公司,php商场网站开发经验,佛山有什么网站ViT#xff1a;视觉 Transformer 网络结构Transformer 编码器MLP 头CNN 和 Transformer 网络结构
Transformer 的优势#xff1a;注意力机制相当于一个多标签检索系统#xff0c;位置嵌入能知道每个单词的位置#xff0c;而且适合并行。
尝试把 Transformer 迁移到视觉领… ViT视觉 Transformer 网络结构Transformer 编码器MLP 头CNN 和 Transformer 网络结构
Transformer 的优势注意力机制相当于一个多标签检索系统位置嵌入能知道每个单词的位置而且适合并行。
尝试把 Transformer 迁移到视觉领域。 ViT 在 Transformer 基础上
输入为了把图像空间序列化引入了图片切分预处理、patch位置嵌入主干Transformer输出MLP头及分类器
图片切分预处理如输入图片大小为 224x224将图片分为固定大小的patch16x16则每张图像会生成 224 ∗ 224 16 ∗ 16 196 个 p a t c h \frac{224 * 224}{16*16}196个patch 16∗16224∗224196个patch 把这些图像块摆成一行即输入序列长度为196。 在图片块和 Transformer 之间还有一个全连接层对维度进行缩放。 patch位置嵌入给每个图像块添加位置。 数学公式 z 0 [ x c l a s s ; x p 1 E ; x p 2 E ; ⋯ ; x p N E ] E p o s , E ∈ R ( P 2 ⋅ C ) × D , E p o s ∈ R ( N 1 ) × D (1) \begin{gathered} z_0 [\mathbf{x}_{\mathrm{class}};\mathbf{x}_{p}^{1}\mathbf{E};\mathbf{x}_{p}^{2}\mathbf{E};\cdots;\mathbf{x}_{p}^{N}\mathbf{E}]\mathbf{E}_{pos}, \mathbf{E}\in\mathbb{R}^{(P^{2}\cdot C)\times D},\mathbf{E}_{pos}\in\mathbb{R}^{(N1)\times D} \text{(1)} \end{gathered} z0[xclass;xp1E;xp2E;⋯;xpNE]Epos,E∈R(P2⋅C)×D,Epos∈R(N1)×D(1) z 0 z_0 z0 的输入图像进行编码 z 0 z_0 z0表示输入图像的嵌入向量。 x p ( 1 ) \mathbf{x}_{p}^{(1)} xp(1) 表示第一个图像块的嵌入向量 E \mathbf{E} E 是位置嵌入矩阵用于将图像块的位置信息编码到嵌入向量中。 E pos \mathbf{E}_{\text{pos}} Epos 是位置编码矩阵用于将位置信息添加到输入数据中。 x c l a s s \mathbf{x}_{\mathrm{class}} xclass向量用于解决图像分类问题将整个图像的类别信息引入Transformer模型。
Transformer 编码器
计算出 z 0 z_0 z0 后输入到 Transformer 编码器没有用解码器 输入部分 Layer Norm把 z 0 z_{0} z0 归一化再 Q、K、V 分离。 残差连接减轻梯度消失、爆炸。
MSA多头注意力每个注意力头负责捕捉图像的不同局部信息把图像中多个差异拿出来进行学习。
MLP 头
多层感知机Multilayer PerceptronMLP是一种前馈神经网络 MLP 分类头就是一个全连接层。
TA 的工作流程
接受编码器的输出先把 x c l a s s \mathbf{x}_{\mathrm{class}} xclass 提取出来再分类
ViT编码器的输出将是一个形状为(4, 16, 512)的张量。
第一个维度4表示批次大小即有4张输入图像。第二个维度16表示每张图像被分割为16个图像块。第三个维度512表示每个图像块的表示维度即隐藏层的维度。
这个编码器输出可以包含输入图像的全局信息和局部信息的组合。
每个图像块的表示捕捉了该图像块的局部特征而整个编码器输出则综合了所有图像块的信息包括它们之间的关系从而提供了更全局的图像信息。
CNN 和 Transformer
CNN擅长处理图像的局部特征而ViT模型擅长处理图像的全局特征和整体类别信息。
选择CNN模型的情况
当任务关注图像的局部特征比如纹理、形状、边缘等。当处理的图像较大且局部特征在整体中仍然具有较大的重要性。当数据集较小而且已经有了一些经典的CNN模型在类似任务上表现良好。
选择ViT模型的情况
当任务需要关注图像的全局特征和整体类别信息。当处理的图像相对较小且全局结构和上下文信息对于任务很重要。当数据集较大可以利用更强大的模型来提取全局信息和学习更复杂的特征。
