光明实验室黄惠教授团队的研究成果“Learning Reconstructability for Drone Aerial Path Planning（学习预测无人机采集重建质量）”同时收录于计算机图形学旗舰顶刊ACM TOG和“图形奥斯卡”顶会SIGGRAPH ASIA 2022，依托该成果已获得中国发明专利授权和软件著作权登记。

随着智慧城市与智能应用的繁荣发展，城市三维模型作为一个基础数据平台变得更加重要，如何以更少的成本获得高精度三维模型成为研究热点。现有的大尺度城市场景重建往往需要提前进行航拍数据采集。在进行城市三维重建数据采集之前，无人机操作人员需要针对目标区域规划飞行航线，航线规划的好坏直接决定了所得到的航拍图片最后重建得到的模型效果，而无人机航线规划的核心是预测一组视角能否很好重建目标区域。

本研究将可重建度量估计作为一项预测任务，首次以数据驱动的方法来学习无人机空中路径规划的可重建度量估计 （The First Learnable-Reconstructability-Measurement ）。与之前的启发式方法相比，本研究的方法通过学习得到一个能从一组视角预测重建三维城市场景的重建质量的模型。该模型可以被训练并同时适用于无人机路径规划，本研究在训练期间就模拟完整的航拍路径规划流程。此外，城市场景数据采集往往可以在进行路径规划前获取少量目标区域的高质量的图像，这些图像可以比粗糙模型捕获更好地详细的场景几何。作为可重建度量学习框架的一个扩展，本研究利用额外的图像输入来细化生成的可重建度量，并帮助预测粗糙模型不确定性感知的可重建度量。

此外，本研究还设计了一种迭代式的视角优化框架。针对现有路径规划方法在优化过程中极易陷入局部极小值的问题，迭代式的视角优化框架通过循环进行视角的增、删、查、改，帮助优化器跳出目标函数的局部极小值，从而得到更高质量的重建视角。

主要技术贡献

1. 提出了一个可学习的可重建性度量方法可以更好评估相机视角与场景的几何关系；

2. 提出了一个可学习的可重建性度量可以基于输入图片分析场景的不确定性；

3. 提出了一种迭代式的视角优化框架。

主要工作

1. 可学习的可重建性度量，以预测一组视角针对场景的重建质量。该度量作为下游路径规划方法的核心目标函数，对采集路径的规划至关重要。本研究基于数据驱动，利用实际重建得到的模型误差训练一个重建质量预测模型，其能够自动学习视角与视角，视角与场景之间的相关关系。训练完成的模型能够在路径规划时实时衡量目标场景能够以多高的质量被一组给定视角重建。除此之外，该模型还能够提取预采集图片中蕴含的场景不确定度信息，并将其嵌入到上述可重建性度量预测过程中，获得更高质量的预测结果。

2. 迭代式的视角优化框架，以生成具有极高三维重建质量的无人机采集路径。本研究提出一个新的视角规划框架，该框架迭代式地选择部分欠重建场景作为优化目标，并根据现有规划进度自适应地初始化、消除和调整航拍视角，以获得具有最大可重建度量的视角集合。

结果展示

在真实重建任务中，本研究提出的可重建性度量以及迭代式视角优化框架均可作为独立模块嵌入进现有方法中。与现有研究相比，本研究提出可重建度量能够更为准确地反映目标场景的最终重建质量；新提出的视角优化框架能够更高效地生成更高质量的航拍采集路径，并且在大部分场景上能够获得更高的三维重建质量。

项目主页详见：

https://vcc.tech/research/2022/DroneRecon

实验室简介

人工智能与数字经济广东省实验室（深圳）（以下简称光明实验室）为省政府批准筹建的第三批广东省实验室之一，经市政府批准已设立为事业单位。实验室面向人工智能与数字经济的重大战略需求，由广东省政府统筹规划及顶层设计，深圳市政府主导建设、运营与管理，深圳大学作为牵头建设单位。实验室致力于打造人工智能与数字经济全链条创新平台、数字经济区域开放产学研合作平台、创新人才聚集和培养的基地以及核心技术成果转化和孵化平台。在此建设目标下，实验室遵循“创新、责任、进取、合作”的核心价值观，主要围绕区块链与金融科技、智能传感与精准医疗、机器学习与智能系统、泛在感知与智慧城市四个方向展开研究。

扫码关注我们

人工智能与数字经济广东省实验室（深圳）

官方网站：http://www.gml.ac.cn

招聘联系：hr_office@gml.ac.cn