1. 张桂梅等人提出一种基于双源判别器的域自适应分割方法,通过对源域使用风格转换方法得到新源域,再将新源域的特征图分别与源域和的目标域特征图进行通道维度上的特征融合,将得到的 2 个融合后的特征图输入双源判别器中,与生成器迭代进行对抗训练,从而降低了因跨域数据集外观分布不同而导致域差异。[1]
  2. 张桂梅等人提出引入自训练的伪标签,将依据阈值选取出的置信度较高的伪标签作为目标域的监督信息,融入对抗训练,从而避免模型的预测结果偏向源域。[1]
  3. 张桂梅等人引入类平衡因子,将伪标签中最大概率类别出现的频率之和作为类平衡损失因子引入损失函数中,缓解了分割网络中类不平衡问题,增加了网络对小目标的分割能力。[1]
  4. 赵伟枫等人提出双跨域图卷积网络,构造了跨域的位置相似性矩阵和通道相似性矩阵,通过双跨域图卷积来更新图像特征图上的结点信息,建立域内和域间像素的长距离上下文依赖关系,同时提出分组对比学习方法,构造了分组对比损失函数,使无监督域自适应分割网络能提取到更多的域不变信息,提升了语义分割网络的跨域性能。[2]
  5. 毛威等人提出一种结合域自适应的图像语义分割算法,使用计算机生成并标记的数据训练深度神经网络,通过在输出空间上的对抗学习实现域自适应,并根据WassersteinGAN对对抗学习损失函数进行改进,在此基础上构建多级对抗学习网络,利用不同级别特征信息以提升模型性能。[3]
  6. 张轶岳提出像素级预测模型迁移方法,在输出空间上(分割图)进行像素级别的域自适应,解决了特征对齐因需要编码大量视觉信息,包括外观、形状和背景信息的复杂高维特征影响,导致效果不好的问题。[4]
  7. 张轶岳提出多层级域自适应的策略,通过结合分割网络不同层上的输出特征进行对抗学习,达成了多层级适应的目的,避免特征级别低时无法较好进行域自适应。[4]
  8. 张轶岳提出一种创新的生成对抗网络来进行无监督的图片风格迁移,并使用两个生成对抗网络从图像和特征两个层级来缩小两个域之间的差异,同时提出了一种多样性学习方 法,校正了网络在预测时对物体纹理信息的倾向性,转而更多地依靠形状来判断,解决了无监督图像语义分割问题。[4]
  9. 赵文仓等人提出一种基于鉴别模型和对抗损失的无监督域适应方法,使用鉴别模型, 以无监督的方式学习从一个域到另一个域的变换,有效减少了训练域和测试域分布之间的差异,减轻了域移位的有害影响。[5]
  10. 周华平等人提出基于图像风格对抗和二重类别优化网络架构模型,首先采用对抗学习的架构令图像共享信息得到高效利用,使语义信息的传输更加完整,然后采用二重类别指导策略重新分配类别权重,引导模型更加关注小频率类别,解决了夜间图像语义分割中语义信息传递丢失和不重视小频率类别的问题。[6]
  11. 张文影等人在基于图像的车辆与行人检测中,针对固定比例/区域的感兴趣区域(ROI)图像分割适应性低的问题,提出基于消失点和车辆高度的ROI自适应分割算法。利用车道消失点得出道路位置,综合车辆实际高度和检测距离计算图像上车辆高度,定位ROI边界,循环利用当前帧的车道消失点及其推导的实时俯仰角更新下一帧ROI,实时适应不断变化的路面坡度及车身俯仰姿态。[7]
  12. 为解决现有的域适应技术局限于小数据集或与监督学习相比性能不佳的问题,并且使所获性能不受限于图像到图像翻译的质量,Li等提出了一种双向学习框架,通过源域和目标域之间的双向信息流动来减小域间差异。该系统中,图像到图像的转换模型和分割适应模型交替促进彼此。在正向(即“翻译到分割”)上,提出了一种自监督学习方法来训练分割适应模型。在反向,提出了一种新的感知损失,它强制每个图像像素与其翻译版本之间的语义一致性,从而在翻译模型和分割适应模型之间建立桥梁。[9]
  13. Yang等人1.提出了一种基于迭代自训练(ST)过程的新型UDA框架,可以在目标数据上交替生成伪标签并使用这些标签重新训练模型。2.在ST的基础上,还提出了一种新颖的类别平衡自训练(CBST)框架,生成具有平衡类别分布的伪标签,以避免在伪标签生成过程中大类别逐渐占据主导地位。3.同时引入空间先验来优化生成的标签。通过结合源域中的类别频率信息和交通场景的常见结构特点,帮助模型更好地理解和适应目标域中的图像数据,调整模型的输出,使其更符合场景的常见结构。[10]
  14. 提出了一种两步自监督域适应方法,旨在同时最小化域间差距和域内差距,提升域适应性能。首先,我们对模型进行域间自适应,从这种自适应中,我们使用基于熵的排序函数将目标域分为简单和困难的分割。最后,为了缩小域内差距,我们建议采用从易到硬子域的自监督适应技术

参考文献

[1]张桂梅,陶辉,鲁飞飞,等. 基于双源判别器的域自适应城市场景语义分割[J].图学学报,2023,44(05):907-917.

[2]赵伟枫,谢明鸿,张亚飞,等.图引导的特征融合和分组对比学习的域自适应语义分割[J]. 数据采集与处理, 2024,39(01):154-166.

[3]毛威,高宏力. 一种结合域自适应的图像语义分割算法[J].机械设计与制造. 2021(10):300-303.

[4] 张轶岳. 基于深度学习和域自适应的图像语义分割[D].成都:电子科技大学,2020.

[5] 赵文仓,袁立镇,徐长凯. 基于鉴别模型和对抗损失的无监督域自适应方法[J]. 高技术通讯,2020,30(07):698-706.

[6] 周华平,李美光. 基于图像风格对抗和二重类别优化的夜间图像语义分割[J]. 湖北民族大学学报(自然科学版). 2024,42(01):69-74.

[7] 张文影,李礼夫. 针对车辆与行人检测的感兴趣区域自适应分割算法[J]. 科学技术与工程. 2020,20(05):1967-1972.

[8] 李晶晶,孟利超,张可,等.领域自适应研究综述[J]. 计算机工程. 2021,47(06):1-13.

[9] Yunsheng Li, Lu Yuan, Nuno Vasconcelos. Bidirectional Learning for Domain Adaptation of Semantic Segmentation[J]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019: 6936-6945.

[10] Yang Zou, Zhiding Yu, B.V.K. Vijaya Kumar, et al. Unsupervised Domain Adaptation for Semantic Segmentation via Class-Balanced Self-Training[J]. Proceedings of the European Conference on Computer Vision (ECCV), 2018:289-305.

[11] Fei Pan, Inkyu Shin, Francois Rameau, et al.Unsupervised Intra-domain Adaptation for Semantic Segmentation through Self-Supervision[J]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020:3764-3773.

[12] Source-Free Domain Adaptation for Semantic Segmentation[J].

[13] Unsupervised Domain Adaptation for Semantic Image Segmentation: a Comprehensive Survey[J].

[14] Empirical Generalization Study: Unsupervised Domain Adaptation vs. Domain Generalization Methods for Semantic Segmentation in the Wild[J].

[15] Domain Adaptation for Semantic Segmentation with Maximum Squares Loss[J].

[16] A review of domain adaptation without target labels[J].

[17] Unsupervised Domain Adaptation for Semantic Segmentation with Pseudo Label Self-Refinement[J].

[18] Source-Free Domain Adaptation for RGB-D Semantic Segmentation with Vision Transformers[J].

[19] Multi-Modal Unsupervised Domain Adaptation for Semantic Image Segmentation[J].

[20] Refign: Align and Refine for Adaptation of Semantic Segmentation to Adverse Conditions[J].

[21] SePiCo: Semantic-Guided Pixel Contrast for Domain Adaptive Semantic Segmentation[J].

[3]

一、图像分割的国内外研究历史和现状

传统分割方法:

1.阈值法2.区域生长方法3.分水岭算法4.基于边缘检测的图像分割算法

基于深度学习的分割方法:

语义分割、实例分割、全景分割

特征提取领域:

VGGNet(深度卷积神经网络)-> ResNet(残差网络)-> 全卷积网络-> 无监督的图像分割

二、

1.在 2个域之间映射一些表示或提取域不变的特征,将 2 个域映射到共同的特征空间

2. 以无监督的方式学习从一个域到另一个域的变换。

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐