近日，美国专利商标局正式授予苹果一项与手部追踪技术紧密相关的专利。该专利聚焦于时空平滑的系统、方法以及设备，其核心目标在于显著提升手部追踪的精准度与稳定性，从而优化扩展现实（XR）环境下的用户体验。
在专利背景中，苹果详细阐述了XR环境的应用场景。XR 环境通常由头戴式设备（HMD）来呈现，这些设备配备了场景摄像头和显示器。场景摄像头负责捕捉用户所处物理环境的图像信息，而显示器则用于向用户展示各类图像。在某些情况下，所捕捉到的图像或其特定部分可以与虚拟对象进行融合，为用户创造沉浸式的 XR 体验。而在其他情况下，HMD 也可以以直通模式运作，直接呈现物理环境的图像给用户，无需添加任何虚拟对象。
然而，理想情况下，用户通过 HMD 看到的物理环境图像应与不佩戴 HMD 时看到的景象基本一致。但由于眼睛、显示器和摄像头在空间位置上的差异，这一理想状态往往难以实现。这种差异会导致用户在距离感知上出现偏差，容易产生定向障碍，并影响手眼协调能力。
为了解决这些问题，苹果的新专利提出了一种创新的方法。该方法包括获取未经校正的手部追踪数据，并获取与物理环境相关的深度图。然后，基于深度图和未校正的手部追踪数据，精准识别物理环境中手指部分的位置。接着，对深度图中与手指部分位置相邻的区域执行空间深度平滑操作。最后，根据深度图中与手指部分相邻的空间深度平滑区域，对未校正的手部追踪数据进行视点（POV）校正，从而生成经过校正的手部追踪数据。
苹果指出，在配备显示器和场景摄像机的 HMD 设备中，由于眼睛、显示器和摄像机的空间位置各不相同，显示器上呈现的物理环境图像并不总能如实反映用户不佩戴 HMD 时所看到的真实景象。这种差异会导致用户在距离感知、方向感和手眼协调方面出现问题。特别是在与物理环境进行交互时，这些问题会更为明显。
因此，在许多实际应用中，需要对来自场景摄像机的图像进行变换处理，如视点（POV）校正，以使这些图像看起来就像是在用户眼睛的位置所捕获的。在这个过程中，深度图发挥着关键作用，它能够表示图像的每个像素从摄像机到该像素所代表对象之间的距离。在某些应用场景中，只需对来自场景摄像机的图像进行部分变换（如部分 POV 校正），就能使其看起来像是在比场景摄像机位置更靠近用户眼睛的位置所捕获的。