光明实验室泛在感知与空间智能团队的最新研究成果《TextGeo-SLAM: A LiDAR SLAM with Text Semantics and Geometric Constraints-Based Loop Closure》于2024年12月在国际顶级期刊《IEEE Internet of Things Journal》发表，提出了基于文本语义和几何约束的SLAM方法，可解决具身智能机器人在相似场景中，基于传统的点云或图像的SLAM方法不适用的问题。第一作者为泛在感知与空间智能团队具身智能方向研究员陈首彬。

《IEEE Internet of Things Journal》是IEEE旗下多个学会联合出版的计算机领域的顶级学术期，为中科院1区TOP期刊，最新影响因子为8.2。

摘要

在基于 LiDAR 的同步定位和地图构建 （SLAM） 系统中，具有回环检测功能的强大后端模块对于准确定位和建图至关重要，尤其是在多个设备协作的物联网 （IoT） 环境中。依赖于图像或点云的传统方法在具有相似结构或纹理的环境中经常失败，从而导致不正确的回环检测。为了解决这个问题，我们提出了一种新颖的 LiDAR SLAM 系统，该系统集成了前端里程计模块、使用文本语义和几何约束的回环检测模块以及全局优化模块。通过使用无人地面车辆 （UGV） 上的摄像头，该系统从环境中捕获文本信息，从而实现语义匹配以识别潜在的循环。几何约束有助于消除由不同位置的相同文本引起的错误回环。对具有类似结构环境的数据集（例如室内停车场、室外校园区域和混合室内室外场景）的评估表明，与现有的最先进的方法相比，我们的方法显著提高了回环检测精度和全局精度。我们的研究可以支持依赖于精确定位和建图的自主物联网系统和多机器人系统，在具身智能、自动驾驶汽车和智慧城市中具有潜在应用。

主要内容

TextGeo-SLAM 系统由 5 个关键模块组成。第一个是前端里程计模块，它采用 NDT-LOAM 算法来计算前端里程计。第二个模块是文本语义提取模块，它使用摄像头和预训练的 OCR 模型来提取文本语义。此模块包括删除无效图像和过滤掉包含重复文本的图像等关键步骤。第三个模块是空间文本语义匹配，它通过检测出现在相邻位置的相似文本来识别潜在的回环。第四个模块是基于 TextGeo 方法的回环检测，并进一步通过点云重匹配确认回环。最后，第五个模块是全局图优化模块，它优化了全局的轨迹和地图，输出最终的高精度结果。

本文使用机器狗采集了3个场景的数据，包括室内、室外和使内外混合场景。结果表明，本文所提出方法在准确性和鲁棒性方面显著优于现有基于点云的方法，为相似场景的定位、导航和建图任务提供了坚实的基础。

主要贡献

✦ 提出一个完整的 LiDAR SLAM 系统，该系统使用 NDTLOAM 计算里程计，并结合文本语义和几何约束进行回环检测。此方法适用于具有相似空间结构和文本信息的环境，在这些环境中，基于点云的方法、基于图像的方法或基于文本内容的方法无效。

✦ 提出了一种空间文本语义匹配方法，该方法将 UGV 在拍摄文本时的位置信息与文本语义的模糊匹配方法相结合，计算文本的语义相似性和空间距离。该方法可以克服文本重复导致的匹配错误。

✦ 提出了一种名为 TextGeo 的回环检测方法，该方法基于空间文本语义匹配方法，结合了点云筛选和点云重匹配验证的方法。它可以应用于在类似结构或类似文本中执行回环检测任务。

✦ 使用 UGV 数据集的实验表明，我们的方法在准确性和鲁棒性方面优于其他方法，例如没有回环检测的方法和基于点云相似性的回环方法，尤其是在地下停车场、室内空间和公园等具有挑战性的环境中。

论文链接

https://ieeexplore.ieee.org/document/10804222

引用

@ARTICLE{10804222,

author={Chen, Shoubin and Li, Chunyu and Jiang, Qi and Zhuang, Xuebin and Zhang, Bo and Zhou, Baoding and Li, Qingquan},

journal={IEEE Internet of Things Journal},

title={TextGeo-SLAM: A LiDAR SLAM With Text Semantics and Geometric Constraints-Based Loop Closure},

year={2024},

doi={10.1109/JIOT.2024.3517699}}

✦ 光明实验室泛在感知与空间智能团队

光明实验室泛在感知与空间智能团队由中国工程院院士李清泉领衔，致力于从事：

（1）精密定位与自主导航；

（2）多场景感知与动态探测；

（3）具身智能与协同感知；

（4）数据挖掘与空间智能。

长期招聘博士后、全职序列（研究员、副研究员）与研究型实习生。

欢迎联系与交流：chenshoubin@gml.ac.cn

END

素材来源 丨泛在感知与空间智能团队

编 辑 丨 李沛昱

审 核 丨 郭 锴