划重点
01美国宾夕法尼亚大学团队发明了名为PanoRadar的高分辨率射频成像系统，首次实现基于射频的视觉识别。
02该系统通过旋转线性天线阵列形成大型合成天线阵列，有效提高分辨率，同时利用多普勒效应实现精确估计。
03为此，课题组提出一种基于三维环境结构特性的机器学习方法，提升PanoRadar受限的垂直维度。
04未来，PanoRadar有望应用于自动驾驶、物流配送和搜救机器人等领域。
以上内容由腾讯混元大模型生成，仅供参考
近日，美国宾夕法尼亚大学团队造出一种名为 PanoRadar 的高分辨率射频成像系统，首次让基于射频（RF，radio Frequency）成像的视觉识别成为可能，未来能被用于自动驾驶、物流配送和搜救机器人等领域。
（来源：Sylvia Zhang）
在射频成像的传统技术中，主要面对着两大难题：第一个难题是低分辨率问题，第二个难题是机器人移动导致的成像失真问题。
针对低分辨率的问题，该课题组通过旋转线性天线阵列来形成大型合成天线阵列。研究人员表示，尽管此前有人通过类似的合成孔径雷达技术来提高分辨率，但是这类技术往往要通过在二维平面上移动天线来进行扫描，不仅操作缓慢而且耗时较长。而该团队提出的旋转天线系统设计方案，在有效形成大阵列的同时还能让成像更加高效。
针对移动机器人成像失真的问题，考虑到 PanoRadar 最终会被用于移动机器人，因此需要合理有效地处理机器人运动带来的成像失真问题。解决这一问题的难处在于：本次研究所使用的无线电波的波长位于毫米级别，这就要求在成像时对于天线的位置必须实现毫米级的精度，否则信号的相位一致性会被误差所破坏。
然而，一些常用的跟踪及定位用传感器，比如惯性测量单元传感器和轮速计传感器等，它们均无法实现上述测量精度。为此，课题组利用了多普勒效应的特性，通过分析旋转雷达来捕捉反射信号的多普勒频率变化，以便针对机器人移动的速度和方向实现精确估计。
另外，为了解决多普勒和到达角的频率混合问题，他们还提出一款新的分离方法，从而让基于多普勒的速度估计成为可能。
需要说明的是，虽然 PanoRadar 能在水平角度通过旋转形成大阵列从而获得优异的分辨率，但是其垂直分辨率会受到天线数量限制。为此，他们又提出一种机器学习方法，该方法基于三维环境结构特性打造而来，能够弥补 PanoRadar 在垂直分辨率上的不足。
对于物体表面来说，它们在三维空间中通常呈现出连续分布以及能和地面接触的特性。基于这一特性该团队让大模型学习大量数据，借此来挖掘空间维度的相关性，从而帮助提升 PanoRadar 受限的垂直维度。
此外，他们还提出一种让二维卷积来学习三维空间结构的方法，这不仅让大模型的学习和训练变得更加有效，也降低了计算资源和计算时间。
未来，这一成果有望用于以下领域：
其一，用于自动驾驶领域。PanoRadar 拥有高分辨率的射频成像能力，能够弥补摄像头和激光雷达在雾、雨、雪等恶劣天气中的局限，让驾驶更加安全。另外，在夜间、隧道、地下场景等光线不足或信号干扰较强的场景中，PanoRadar 能够提供清晰可靠的环境感知能力，从而能够确保驾驶的安全性。
其二，用于物流配送领域。即能够用于物流机器人、无人配送车、配送无人机等设备，帮助其在多变的城市环境中实现高效导航。尤其是在雨雾天或拥堵区域，PanoRadar 在感知到障碍物之后，会对前进线路加以优化，从而让配送任务安全地完成。另外，在智能仓库中 PanoRadar 可以帮助机器人高精度地感知货物位置，即使在灰尘环境或烟雾环境中也能保持高效工作。
其三，用于搜救机器人。在地震和火灾等极端情况下，PanoRadar 可以穿透烟雾、灰尘和碎片，从而为搜救机器人提供清晰的环境感知，进而帮助定位幸存者或危险区域，在提高救援行为的效率的同时，还能确保救援人员的安全。而在一些受灾地区 PanoRadar 还能支持机器人或无人机在恶劣环境下完成精准的紧急物资和药品投送。
（来源：MobiCom）
打造既鲁棒、又能高清成像的射频传感器
研究人员表示，当前机器人和自主系统技术正在飞速发展，并已被用于自动驾驶、搜索救援、仓库物流和医疗健康等领域。这就要求机器人针对周围环境实现既准确、又鲁棒的感知，以便确保安全顺利地完成作业。
目前，常用的传感器主要有相机和激光雷达等，它们能够提供高分辨率的图像和点云。但是，作为一种视觉传感器，它们和人类眼睛存在同样的“不足”，即在充满浓烟和充满水雾的恶劣环境下很难看清周围环境。
比如，装载相机和装载激光雷达的自动驾驶车辆在大雾天气无法正常工作，搜救机器人也无法在满是烟雾和灰尘的火灾现场展开救援。
射频，指的是可以辐射到空间的电磁频率，其频率范围位于 300KHz 到 30GHz 之间。在上述恶劣环境之中，射频传感器能够实现既有效又可靠的工作。这是因为射频传感器所依赖的无线电波，能够轻易地穿过悬浮在空气中的微小粒子，其背后原理和人们在大雾天仍能收听广播是一个道理。
此前，已有不少学者开始利用射频传感器的上述特点来进行射频成像，以便为机器人提供鲁棒可靠的感知方式。然而，当前的自动驾驶汽车和配送机器人依然严重依赖于相机和激光雷达，这是因为现有射频传感器的分辨率往往较低。要知道相机能够实现百万像素甚至千万像素的高分辨率图像，但是由于分辨率较低射频传感器只能给出一团团的反射图像，因此它很难辨别周围环境和周围物体。
为了让射频传感器既能保持可靠鲁棒的特性，又能像激光雷达一样提供高分辨率的成像结果，该团队开始了本次研究。
成像质量能与激光雷达相媲美
前面提到，在与激光雷达这种光学传感器相比时，射频成像传感器的分辨率有着明显差距。此外，大部分现有技术在扫描时耗时较长，这在动态应用中显然是不切实际的。尽管部分雷达商品已能取得较高的分辨率，但是它们价格十分昂贵，而且只能提供二维的平面信息，而这不仅会增加部署成本，还会限制获取信息的维度。
因此，亟需一种新方法来突破射频成像在移动机器人中的瓶颈。一次偶然的机会，研究人员注意到了电脑中旋转的散热风扇。这让他们联想到或许可以通过旋转的方式，来以快速、稳定的方式扩大天线阵列，从而提升成像分辨率。
基于此，他们定下这一研究方向：设计一套以旋转雷达为基础的高分辨率射频成像系统。
为了验证上述构想的可行性，他们先是开发出一款原型系统。一开始他们使用了一个非常简单的旋转装置——即商店里常见的小型商品展示转台。这套慢速旋转平台虽然看起来很“原始”，但是在静止环境之下他们成功生成了一个房间轮廓的射频图像，这说明旋转雷达的基本想法是可行的。
接着，他们将上述慢速旋转平台移植到移动机器人平台上，并引入一台工业电机，从而能在实现快速旋转的同时还能提高成像效率。然而，他们发现机器人在运动时，成像质量会受到严重干扰。后来，他们发现这是因为对于雷达成像来说，它需要极高的天线位置精度，而机器人的运动会破坏信号的相位一致性。
为解决这一问题，他们针对机器人提出一种基于多普勒效应的运动估计和补偿方法，从而让本次 PanoRadar 能在动态环境中实现高精度成像。
这时，PanoRadar 已经能在水平方向和深度方向上达到较高的分辨率。但是，为了实现真正的高分辨率三维成像，他们打算进一步提升 PanoRadar 的垂直分辨率。在三维环境结构特性的启发之下，课题组使用数据驱动的方法，并通过引入大模型，进而利用三维空间中物体表面连续性和与地面的支撑关系，来增强 PanoRadar 在垂直方向的分辨率。这一改进大幅提高了 PanoRadar 的整体成像质量，甚至能与激光雷达的成像质量相媲美。
保洁大爷和“警报事件”
研究中，数据采集是一个重要环节。为了验证 PanoRadar 的性能，他们需要在建筑楼道和实验室周边等真实场景中运行机器人。
由于 PanoRadar 配备了旋转雷达，这种新颖的设计总是会吸引人们驻足围观。尤其是当人们看到雷达随着机器人的移动不断旋转时都会好奇地问：“这是在干嘛呢？”每次面对这样的疑问，他们都会耐心解释说这是一个科研用的移动机器人，能够用于复杂环境下的高分辨率成像。
特别是当他们提到它甚至可以在烟雾、尘埃等恶劣条件下清晰地感知周围环境时，大家的表情总是充满惊讶和赞叹。尽管这些互动打断了数据采集进度，但也成为了让人开心的小插曲。
最有趣的是，课题组几乎每次采集数据时都会遇到一位固定的“老熟人”——一位负责清洁的保洁大爷。保洁大爷一开始也和其他人一样，非常好奇研究人员到底在干什么。
但是随着大家逐渐熟悉，保洁大爷甚至还记住了他们。有一次保洁大爷看到他们推着机器人走过来直接招呼道：“又出来采集数据啦？”这种小小的日常问候让为科研工作增添了一份生活的温度。
除了进行数据采集，还要进行烟雾实验。为了测试 PanoRadar 在空气悬浮粒子（如烟雾、灰尘）中的成像能力，课题组买了一台便携式雾汽发生器——这是一个可以快速产生浓雾的小设备。
某天晚上，他们打算在实验室楼的走廊里进行测试。当时，周围没有太多人，环境也比较安静。该团队把机器人放置在走廊中央，并使用雾汽发生器在它周围喷射浓雾，以此来模拟大雾环境。
实验一开始的时候效果非常好，能让人清晰地看到射频成像穿透烟雾的能力，数据表现也完全符合预期。正当他们兴奋地记录数据时，意外发生了：由于雾气过于浓烈，触发了建筑物内的烟雾报警器。顿时，整个楼道里警铃大作、震耳欲聋！
一开始他们还没意识到发生了什么，直到看到走廊尽头的警报灯闪烁，才意识到是这次实验引发了警报。幸运的是，那天晚上楼里几乎没有人，教室也空荡荡的，没造成太大的骚动。
尽管如此，他们还是立刻关闭设备，打开窗户透气，并迅速清理现场。后来回想起来，这段“警报事件”也成了团队的一个笑谈。自此以后，他们对于实验环境和实验方法也更加谨慎。
而为了避免再次触发警报，他们使用激光切割亚克力板做了一个小箱子罩在设备上，从而让浓雾限制在箱子之内。
在项目接近尾声之时，课题组决定将代码和数据进行开源。他们希望通过共享这些资源，进一步推动射频成像技术在自动驾驶、机器人和其他领域的发展。
日前，相关论文以《在射频中实现视觉识别》（Enabling Visual Recognition at Radio Frequency）为题发在移动计算与网络会议（MobiCom，Mobile Computing and Networking）上 [1]。Haowen Lai 是第一作者，美国宾夕法尼亚大学 Mingmin Zhao 教授担任通讯作者。
图 | 相关论文（来源：MobiCom）
为了更好地展示本次成果，他们将整套机器人和射频成像系统搬到会议现场进行实时演示。演示中，该团队重点展示了 PanoRadar 在浓雾环境下的高分辨率成像能力。在现场他们利用一台雾汽发生器来模拟浓雾条件。在这种情况下常规的光学传感器和激光雷达往往会完全失效，以至于无法捕捉到有效信息。而 PanoRadar 却能清晰地恢复周围环境的细节，并能执行一系列的下游视觉识别任务。研究人员将 PanoRadar 的结果与激光雷达在浓雾环境下的结果进行对比，鲜明的效果差距让许多参会者印象深刻。
在现场许多与会者特别好奇他们如何通过旋转雷达和射频信号实现如此高的成像分辨率，还有人询问是否有计划将系统商业化。更让他们激动的是，这次演示还让他们赢得了会议最佳演示奖。此外，该团队的博士生 Haowen Lai 也在本次会议的学生研究比赛获得了第一名。
将与业界伙伴探索 PanoRadar 的物流配送应用
基于本次成果，该团队将进一步探索高分辨率射频成像系统的潜力。
其一，将探索室内的应用潜力。
在一些灾后环境或危险环境中，例如地震废墟和火灾浓烟区域，搜救机器人需在能见度极低的条件下来定位受困人员。而 PanoRadar 可以穿透烟雾和灰尘，为机器人提供清晰的环境感知能力。因此，他们希望将 PanoRadar 集成到搜救机器人中，并验证其在真实搜救场景中的性能。
其二，将探索在同步定位与地图构建算法的应用潜力。在动态和复杂的室内环境中，机器人需要同时完成自身定位与环境地图的构建。PanoRadar 的高分辨率成像能力不仅能够提供细致的环境轮廓，还能在无全球定位系统（GPS，Global Positioning System）信号的环境下支持鲁棒性定位。基于此，课题组将探索如何利用射频图像来直接提升同步定位与地图构建算法（SLAM，Simultaneous Localization and Mapping）的精度与可靠性。
其三，将探索在转角成像与隐蔽物体探测中的潜力。即利用射频信号的反射特性，让机器人实现“绕角”探测，例如可以在拐角处提前识别目标物体或潜在威胁，从而避免发生碰撞。针对此，该团队计划设计一款专用算法，以便开发更智能的探测功能。
其四，将探索在室外应用中的潜力。
在复杂的户外环境中，无人驾驶车辆需要在夜间、强光、雨雾天气等光学传感器失效的情况下保持安全行驶。为此，课题组计划将 PanoRadar 的射频成像能力用于无人驾驶平台之中，以便为其提供全天候的环境感知能力，特别是实现恶劣天气条件下的应用。
其五，将探索在物流配送机器人中的应用潜力。在室外运送货物时，物流机器人常常面临障碍物和环境光线的多变性，而 PanoRadar 能够显著提高机器人对于周围环境的适应能力，从而保障物流机器人的正常运行。下一步，他们也将与业界伙伴探索 PanoRadar 在物流配送场景中的应用，包括将其用于复杂的城市道路和园区路径等。
参考资料：
1.Lai, H., Luo, G., Liu, Y., & Zhao, M. (2024, May). Enabling Visual Recognition at Radio Frequency. InProceedings of the 30th Annual International Conference on Mobile Computing and Networking (pp. 388-403).
排版：多加