在 AR/VR 体验中，用户的手臂和手作为触控输入的触觉表面，具有显著的速度、准确性和人体工程学优势。近期，卡内基梅隆大学的研究团队介绍了一种基于人工智能的人机界面——EgoTouch，该界面允许用户将自己的身体变成 AR/VR 控制器，从而进一步提升 AR/VR 体验。
EgoTouch 的核心在于高精度的裸手皮肤输入技术，这一技术仅使用标准 XR 头显所附带的 RGB 摄像头即可实现。研究团队指出，当手指触控皮肤时，会产生阴影和局部皮肤变形。通过检测这些变化，团队训练了一个机器学习模型来识别触控输入。
为了收集数据以训练模型，团队在食指和手掌上安装了定制的触控传感器。这些传感器可以在非摄像头视场下收集不同类型的触碰在不同力量下的数据。然后，模型通过学习将阴影和皮肤变形的视觉特征与触碰和力联系起来，实现了无需人工注释的自动识别。
研究团队还扩大了训练数据的收集范围，包括 15 名肤色和毛发密度不同的用户，并在一系列不同的情况、活动和光照条件下收集了数小时的数据。实验结果表明，EgoTouch 在不同的光照条件、肤色和身体运动（如走路时的输入）下都是准确而稳健的。
EgoTouch 的检测触碰准确率超过96%，假阳性率约为 5%，能够识别压下、提起和拖拽等动作。此外，模型还可以以 98% 的准确率区分触碰力度，这为在体表皮肤上实现右键点击等功能提供了可能。
研究团队表示，EgoTouch 的应用前景广阔。例如，在皮肤模仿触屏手势方面，智能手机可以识别上下滚动页面、放大、向右滑动或按住图标等动作。为了将其转化为基于皮肤的界面，摄像头需要识别触摸类型和触摸力度之间的细微差异。
值得注意的是，EgoTouch 在不同肤色、毛发密度以及手臂和前臂的不同区域上的准确率大致相同。然而，在指关节等骨骼区域，由于皮肤变形较少，系统的表现相对较差。因此，作为用户界面设计师，需要避免在这些区域放置元素。
此外，研究团队还在探索使用夜视摄像头和夜间照明的方法，以支持 EgoTouch 系统在黑暗中工作。他们表示，这是第一次有一个只需使用已集成到所有头显中的摄像头的系统，且模型无需校准，开箱即用。