城市三维创新团队的研究工作：DINO语义引导的单样本可变形人脸风格化已发表在计算机视觉顶级会议 CVPR 2024上。

城市三维创新团队的研究工作Deformable One-shot Face Stylization via DINO Semantic Guidance（DINO语义引导的单样本可变形人脸风格化）已发表在计算机视觉顶级会议IEEE/CVF Computer Vision and Pattern Recognition Conference (CVPR) 2024上。第一作者为周漾助理教授，通讯作者为黄惠教授。

人脸图像风格化是图形学和视觉领域的热门话题，人们能否仅仅根据一个风格样例来对人脸照片进行风格化呢？与传统方法仅使用单风格图像参考不同，该工作主张使用单真实-风格图像对，同时考虑图像外观跨域变化和几何变形。具体来说，该工作提出一种基于DINO语义指导的单样本可变形人脸风格化框架，利用大规模自监督DINO-ViT构建跨域的鲁棒且一致的人脸结构表示，进而引入方向变形损失和基于DINO特征自相似性的相对结构一致性约束。此外，以StyleGAN作为人脸生成器基础网络，通过集成空间变换器STN使其具有变形感知能力。生成器在单一真实-风格图像对上进行微调训练，仅需10分钟。大量定性与定量比较证明了方法的有效性和优越性。

现实中很多艺术风格样例十分稀缺，使用极其有限的风格样本对模型进行训练往往会出现过拟合现象。当前一些工作针对单样本人脸风格化通过不同的训练策略缓解了过拟合问题。然而，现有方法主要关注颜色和纹理的迁移，忽略了语义结构的几何变形在艺术风格中的重要性。研究团队深入探索DINO特征空间，创新性的提出DINO跨域语义指导，并构建可变形人脸风格化框架，能够生成多样化、高质量的风格化人脸，为少样本学习、图像风格化等领域带来新的突破。

论文信息

Yang Zhou, Zichong Chen, Hui Huang*: Deformable One-shot Face Stylization via DINO Semantic Guidance. CVPR 2024.