学校网站的建设目标是什么意思,南昌广告制作,网站建设公司销售招聘,有赞小程序开发报价ClassMix相关介绍主要思想方法Mean-Teacher损失函数交叉熵损失标签污染实验实验反思参考资料相关介绍
从DAFormer溯源到这篇文章#xff0c;ClassMix主要是集合了伪标签和一致性正则化#xff0c;思想来源于CutMix那条研究路线#xff0c;但是优化了CutMix中的标签污染的情…
ClassMix相关介绍主要思想方法Mean-Teacher损失函数交叉熵损失标签污染实验实验反思参考资料相关介绍
从DAFormer溯源到这篇文章ClassMix主要是集合了伪标签和一致性正则化思想来源于CutMix那条研究路线但是优化了CutMix中的标签污染的情况后续会说。一致性正则化的半监督学习在图像分类中取得了显著的进展主要利用强大的数据增强对未标记图片加强一致性然而在半监督语义分割中被证明是无效的。
主要思想
从一张图片中随机选取一半的类粘贴到另外一张图片上形成一个新的样本标签也不需要真正注释只需要获取原来的两张图对应的标签即可。利用网络学习原始图像的像素级语义(利用有标签的数据集训练网络)对混合的图像的预测被强制训练成和混合前一致。根据分类一致性正则化趋势还继承了熵最小化来鼓励网络进行低熵预测。
方法 如图所示ClassMix使用两张没有标记的图片A、B然后分别通过网络f(θ)生成对应的Sa、Sb。随机获取Sa中的一半的类然后获取到类别像素点的位置为1其余位置为0生成一个Mask掩码M把A、B两张图片作为输入同时加上掩码M生成一张增强的图片Xa其对应的标签Ya通过Sa,Sb和M获取对应的标签Ya由于混合策略的性质刚开始可能会出现人工标签但随着训练的进行会越来越少。 伪代码如下:
Mean-Teacher
阅读一下 Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised deep learning results这篇论文。 笔记:
损失函数 Xl是从带标签的数据集中均匀随机采样的图像Yl是对应的ground-truth语义图。 Xa是增强方法产生的图像Ya是对应的人工标签。 λ是一个控制监督和非监督之间平衡的超参数。 ℓ是交叉熵损失函数
交叉熵损失 W,H对应着图像的宽度和高度该损失函数就是一个多分类的损失函数。Y(i,h,c)和S(i,j,c)分别对应着目标和预测中(i,j)这个位置对应着c这个类别的概率。
标签污染
对于物体的边界来说会有很大的不确定性因为分割任务在接近边界时候是最难的这就会导致一个污染的问题如下图所示:当由M选择的类被粘贴到图像B的顶部时其相邻的上下文将经常改变例如中间那个图按照白色的线作为决定边界线将下半部分粘贴到C上就会导致在红色和绿色之间出现一些奇奇怪怪的类别(一些不确定性的类别)就会增添不确定性就会得到较差的人工标签。伪标记有效地缓解了这一问题因为每个像素的概率质量函数被改变为最可能类别的一个热向量(非黑即白策略)从而锐化了这个问题从而导致不会受到污染。
实验
使用PyTorch框架两块V100训练采用了基于ResNet101为backbone的DeepLab-V2框架。刚开始在ImageNet和MSCoCo上预训练在Cityscapes和Pascal Voc2012两个数据集上给出结果。
实验反思
作者对于在Cityscapes表现良好的原因归结于数据中的图片的分布类似(论文分析了数据中类别的分类情况),还有一个原因就是类别的分布不是很均匀而是集中在一些地方(同上),所以将一个图像粘贴到另外一个图像就显得很合理效果也不错。但是对于Pascal VOC 2012就不一样了所取得结果虽然也具有竞争性在一些类别上达到了stoa的水平但是不如在Cityscapes整体取得的效果。主要原因是Pascal VOC 2012这个数据集中类别比较少生成的mask掩码会出现重复的情况所以效果会不如另外与Cityscapes不同Pascal的数据集中类彼此之间不是那么的相似因此随机将两个图中的类别放到一起会经常出现不合理的情况所以会影响效果但是ClassMix的性能仍然处于sota的水平。
参考资料
https://arxiv.org/abs/2007.07936https://github.com/WilhelmT/ClassMix
