图引导的特征融合和分组对比学习的域自适应语义分割

在无监督域自适应语义分割任务中，有效地融合源域和目标域的特征以及解决不同类别像素数量分布不均衡的问题是提升跨域语义分割网络性能的关键。为了充分融合源域和目标域的特征，建立源域和目标域之间的长距离上下文关系，本文构建了双跨域图卷积网络，利用图卷积来引导源域和目标域的特征进行融合。本文分别构造了跨域位置相似矩阵和通道相似矩阵，提出了跨域位置图卷积和跨域通道图卷积。为了解决数据集中存在的类不平衡问题，同时提取到更多域不变特征，本文提出了分组对比学习策略，通过在组内构造正负样本，拉近2个域相同类之间的距离并拉远2个域不同类之间的距离。实验证明，本文提出的方法在数据集GTA5到Cityscapes和SYNTHIA到Cityscapes上的跨域语义分割均取得了良好的效果。