光明实验室黄惠教授团队一项研究成果Self-Supervised Color-Concept Association via Image Colorization（基于自监督图像着色的“颜色-概念”关联提取）同时被可视化旗舰顶刊 IEEE Transactions on Visualization and Computer Graphics 和顶会IEEE VIS 2022收录，并受邀在IEEE VIS 2022大会上作技术报告。依托该成果已获得中国发明专利授权。

案例展示

颜色和概念之间的适当关联有助于可视化的语义解释，但是创建两者之间适当关联的数据集成本十分昂贵，需要收集大量的用户对概念的颜色打分。另一方面，真实的概念图像通常带有丰富的颜色信息。因此，本研究的目标是以概念图像为指导，通过着色模型自动提取概念与颜色之间的关联分布。本研究所指的概念为一个类别的名称。

已有工作提出了自动化提取颜色与概念关联分布的办法。通常的做法是从图像中进行关联提取，但其算法模型仍需要在手动标记的数据中进行训练。为解决上述局限性，本研究引入了一种基于图像着色的自监督提取“颜色-概念”关联方法，能够以概念图像作为指导，利用着色网络，自动地从图像中提取颜色与概念的关联分布。该方法不需要用到用户标记的类别颜色打分，因此可以大大降低数据收集的成本。

主要技术贡献

1）基于着色神经网络，提出了一种自监督提取颜色与概念关联分布的方法；

2）通过多个指标与用户研究，证明该方法的结果在感知上更趋近于真实用户评分。

整体流程图

本研究的方法包括图像着色模块与颜色映射模块。第一部分的目标是利用着色网络预测出每个像素的颜色概率分布；第二部分则是将网络预测的概率分布映射与聚合到指定的颜色库空间上，得到最终的“颜色-概念”关联分布。

着色网络结构图

颜色映射流程图

适当的“颜色-概念”关联分布可以应用在数据可视化的赋色任务中，但是人工创建两者关系的数据集需要十分繁琐的处理过程。本研究聚焦于图像着色任务，自监督地提取颜色与概念之间的关联，为已有工作存在的问题提供了新的解决方案。此外，本研究的方法能进一步嵌入到可视化应用中，例如在需要根据一组色盘为不同的概念进行颜色分配时，用户可以提供合理的颜色分配方案，在很大程度上体现了该方法的实用性。

项目主页详见：

https://vcc.tech/research/2022/ColorConcept

实验室简介

人工智能与数字经济广东省实验室（深圳）（以下简称光明实验室）为省政府批准筹建的第三批广东省实验室之一，经市政府批准已设立为事业单位。实验室面向人工智能与数字经济的重大战略需求，由广东省政府统筹规划及顶层设计，深圳市政府主导建设、运营与管理，深圳大学作为牵头建设单位。实验室致力于打造人工智能与数字经济全链条创新平台、数字经济区域开放产学研合作平台、创新人才聚集和培养的基地以及核心技术成果转化和孵化平台。在此建设目标下，实验室遵循“创新、责任、进取、合作”的核心价值观，主要围绕区块链与金融科技、智能传感与精准医疗、机器学习与智能系统、泛在感知与智慧城市四个方向展开研究。

扫码关注我们

人工智能与数字经济广东省实验室（深圳）

官方网站：http://www.gml.ac.cn

招聘联系：hr_office@gml.ac.cn