光明实验室于非院士团队与元戎启行合作，提交的一篇关于域适应目标检测的文章IGG: Improved Graph Generation for Domain Adaptive Object Detection（作者：李鹏腾、贺颖、于非、宋品皓、尹东富、周光）被多媒体领域顶级会议、CCF A 类会议ACM International Conference on Multimedia (ACM MM 2023) 收录。

摘要

无监督域适应技术（Unsupervised Domain Adaptation，UDA）旨在实现在缺乏目标域标签数据的情况下，将源域的知识迁移到目标域。近期研究通过在非欧式空间中对跨域像素对进行对齐，来最小化域差异以实现语义分布适应，从而减少域差距。然而，这些方法通常忽略非信息性噪声进行初始节点采样，且不能实现精确的节点语义对齐；此外，由于模糊或重叠像素的存在，在图建模过程中不可避免生成异常节点。为了解决这些问题，本研究设计了一种新的用于域适应目标检测的图生成框架，旨在克服语义采样中非信息性噪声以及模糊语义的异常节点的影响，并进行更好的图建模，从而实现更好的图匹配域适应。

主要内容

在域适应目标检测过去的研究中，研究者们主要在类别级别上探索语义空间，并使用手工定义的类别中心对语义知识进行建模。这样的建模方式忽略了物体的形状大小等自身特征，造成了巨大的类内方差以及有偏的域适应。近期工作针对这一现象，提出将物体特征嵌入到非欧式空间中，建模对应域下面的图表示，并进行跨域像素对的图匹配对齐。

虽然这些工作取得出色的性能，但是仍然存在下面两大问题。第一个问题在于，目前工作在真值框上通过粗糙的语义采样来建模图，这会导致有偏的域适应。这是其针对节点的空间均匀采样方法造成的。真值框通常包含非信息性的背景语义，这些语义信息将会混淆模型对于类别特征的提取。此外，目标图是从伪分数图中采样出来的，引入了许多像误分类标签这样的噪声。现有的节点采样方法依赖于这些真值框，而没有处理这些噪声语义。在训练过程中跨域对齐这些噪声，使得很难建立一个能够很好适应类别特定分布的隐式概率模型，从而导致了较差的语义对齐。因此，需要一种更加稳健以及精准的图建模策略，来表示域级语义空间。

第二个问题在于，在节点群向图建模的转换过程中，很容易产生异常节点。我们定义异常节点包括在从节点群生成图的过程中来自不清晰前景语义的无意义节点，以及从明确前景像素中采样的分布外节点。首先，基于真值框中的采样方法会对无意义的语义生成一些异常节点，比如在极端天气下相互遮挡物体的模糊像素。其次，大多数图建模策略是基于不确定的假设，即训练和测试数据都是从图中的相同分布（identical distribution，ID）中采样的。与欧式数据不同，图上的域适应目标检测问题涉及到每个节点的分类预测任务。节点通过图结构相互连接，由于结构信息影响，即使在相同环境中也引入了非相同分布的特性，例如异常节点通常从远离物体中心的像素、重叠物体或模糊物体中采样。模型会因这些异常节点而混淆并对其进行错误分类。

如图2所示，我们提出一种新的用于域适应目标检测的图生成框架（IGG）来解决上述问题。该框架通过处理非信息性噪声来建模具有无偏语义的图表示，并从针对图表示中异常语义节点进行处理，来更好地进行域适应。受对比学习的启发，我们设计了一个加强节点精炼模块（Intensive Node Refinement，INR），以补充域之间不匹配的语义。具体而言，受对比学习启发，我们对来自GMB（Graph-guided Memory Bank）模块的缺失节点分类关系去重构原始节点的特征。然后，为了在不同域之间进行精确的语义对齐，我们解耦图表示下的协方差矩阵，以消除不同领域特定的元素，并获取每个类别的关键不变特征。为了解决第二个问题，我们引入了精确图优化（Precision Graph Optimization，PGO）适应器来过滤异常节点。首先，我们设计了一个全局节点增强模块（Global Node Enhancement，GNE）对各个域下的节点语义进行增强，使得节点充分了解各域知识，从而为后面高效过滤异常语义节点建立基础；随后，我们对图生成过程建模，来表示图空间下的数据分布偏移（Abnormal Semantic Filtering, ASF）；同时设计一种环境隐变量作为指示变量，利用变分推断得出解析解，来降低图中异常语义节点的权重，进一步提高图表示的质量。

图3为IGG框架在Cityscapes→Foggy Cityscapes下不同骨干网络的实验结果。可以看出该框架优于现有的基于图表示的域适应目标检测框架，能够建模高质量的图表示，验证了框架有效性，对非欧式空间下的应用工作有启发性意义。

原文

Pengteng Li, Ying He, F. Richard Yu, Pinhao Song, Dongfu Yin, and Guang Zhou. 2023.

IGG: Improved Graph Generation for Domain Adaptive Object Detection. In Proceedings of the 31st ACM International Conference on Multimedia (MM ’23), October 29-November 3, 2023, Ottawa, ON, Canada. ACM, New York, NY, USA, 11 pages.

参考文献

[1] Li W, Liu X, Yuan Y. Sigma: Semantic-complete graph matching for domain adaptive object detection[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022: 5291-5300.

[2] Li Z, Wu Q, Nie F, et al. Graphde: A generative framework for debiased learning and out-of-distribution detection on graphs[J]. Advances in Neural Information Processing Systems, 2022, 35: 30277-30290.

[3] Choi S, Jung S, Yun H, et al. Robustnet: Improving domain generalization in urban-scene segmentation via instance selective whitening[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 11580-11590.

[4] Chen T, Kornblith S, Norouzi M, et al. A simple framework for contrastive learning of visual representations[C]//International Conference on Machine Learning. PMLR, 2020: 1597-1607.

[5] Li W, Liu X, Yuan Y. SCAN++: Enhanced Semantic Conditioned Adaptation for Domain Adaptive Object Detection[J]. IEEE Transactions on Multimedia, 2022.