科研动态 | 光明实验室智能感知与计算成像团队:用于机器人智能识别和操纵感知的多功能触觉系统
  • 发布时间:2024-09-12
  • 作者:光明实验室
  • 浏览:826次

智能感知与计算成像团队的研究成果《A Multifunctional Tactile Sensory System for Robotic Intelligent Identification and Manipulation Perception》(用于机器人智能识别和操纵感知的多功能触觉系统)发表在Advanced Science上。论文作者包括蒋月,范霖,孙喜龙,骆泽河,王鹤榕,赖如聪,王杰,通讯作者为田劲东教授及李宁副研究员。Advanced Science‌是Wiley旗下著名的综合性期刊,致力于发表跨学科的高质量研究论文。Advanced Science是中科院1区TOP期刊,5年平均影响因子为16.3。


主要内容

人类可以通过皮肤触觉细胞感知多维力特征来识别和操纵物体。目前,机器人所用传感器难以全面感知机械手与物体之间的多种交互状态。因此机器人难以达到拟人化的感知和分析水平。针对机器人在执行复杂任务时涉及的触觉感知需求,我们提出了一种多模态传感系统,为机器人在接近、触摸和操纵物体时提供现场同步感知。该系统包括一个高灵敏接近传感器、一个超快响应接触传感器,以及一个三维力传感器。基于Transformer模型对多模态感知信息融合处理,在随机采样条件下(随机抓取力和速度),实现对随机硬度和纹理的多个目标的高精度识别。该传感系统有望增强自主机器人在非定义随机环境中执行复杂任务时的智能识别和行为规划能力。

图1 用于智能任务的多模态传感系统的概念和设计。(a) 在服务机器人为顾客提供服务的常见应用场景中,机器人需要准确识别顾客所需的饮料,并完成一系列灵巧的操作,包括拿起玻璃杯并将饮料倒入杯中。多模态传感系统可以为机器人提供物体的物理信息和机械手与物体交互的细节,从而帮助机器人完成这些复杂


图 2 利用多功能触觉感知系统进行智能识别和操作感知。(a) 9 个目标物(A:啤酒;B:果汁;C:绿茶;D:红茶;E:白茶;F:纯净水;G:塑料瓶;H:塑料杯;I:玻璃杯)。 (b) 基于多模态感知数据集的物体识别。(c) 机器人操作过程中多模态传感器的多特征感知。


原文

onlinelibrary.wiley.com


END

素材来源 丨光明实验室智能感知与计算成像团队

编 辑 丨 李沛昱

审 核 丨 郭 锴