直播｜给机器人装上「透明手指」

头像

智源社区

2026-01-20 11:46发布于北京智源社区官方账号

图片
报告主题：给机器人装「透明手指」TacThru：指尖视角下的同步视-触觉感知

报告日期：01月21日（周三）14:30-15:30

报告要点：

本期报告将北京大学人工智能研究院李宇飏进行分享。

机器人在复杂真实环境中的操作常常面临感知不足的挑战：视觉容易因遮挡而失效，触觉只能在接触发生后提供局部信息；在视觉受限而触觉未被激活的“最后一厘米”关键阶段，环境感知能力的空白使机器人在精细和接触丰富的任务中表现受限。为解决这一问题，我们设计了 TacThru——一种全新的透视皮肤（STS）传感器。TacThru 通过几项简洁而高效的设计，使机器人能同步获取指尖视角下高质量的视觉与触觉信号，无需额外控制逻辑在两种模态间切换。同时，该设计保持与常见视触觉传感器本体的兼容性，仅需替换硅胶形变体即可应用。在此基础上，我们进一步构建 TacThru-UMI 模仿学习框架，融合多模态信号以实现操作控制。实验在五类真实任务中验证了该方法相较视觉、触觉模态的显著优势，尤其在处理薄软物体和精细对齐场景中展现出优秀性能。

相关论文：

Simultaneous Tactile-Visual Perception for Learning Multimodal Robot Manipulation

图片
报告嘉宾：
李宇飏，北京大学人工智能研究院2024级博士研究生，导师为朱毅鑫助理教授，研究方向为机器人的多模态感知及其支撑的灵巧操作。李宇飏本科毕业于清华大学自动化系，期间加入首届人工智能因材施教计划（通班）并担任核心骨干，并获黄奕聪基金会科研卓越奖等奖励。李宇飏在 Nature Machine Intelligence、T-RO、RA-L 等期刊，NeurIPS、R:SS、CVPR 等会议发表多篇论文，并多次受邀担任审稿人。

更多热门报告

图片