双目显示系统垂直错位校正
（映维网Nweon 2024年10月15日）由于软件或硬件问题，包括双目显示系统的头显可能会发生左眼和右眼的显示错位。软件示例包括在渲染期间虚拟显示内容的不准确放置或渲染camera定位不准确，而硬件示例则包括热膨胀引起的变形和由于机械冲击引起的变形，并导致显示器错位。
双目垂直显示错位会以各种方式影响用户体验。例如，双目垂直显示错位会导致用户误解虚拟对象的大小和/或空间位置。另外，人类视觉系统可能无法融合左眼和右眼图像，从而导致用户经历模糊或复视。
在一份专利申请中，微软就提出了一种用于双目显示系统垂直错位校正方法。
为了帮助检测和纠正垂直显示偏差，头显可以包括一个显示偏差检测系统来监测垂直显示偏差。可以使用一个或多个摄像头对左眼显示器和右眼显示器进行成像，并跟踪显示左眼图像和右眼图像的各自位置。在此基础上，可以对左眼图像和右眼图像的显示位置进行校正。作为校正示例，每个图像到各自的显示硬件像素行的映射可以向上或向下移动。
然而，根据校正的速率和虚拟内容与真实世界背景之间的相对距离，用户可能会感觉到这种校正。例如，校正可以表现为显示的虚拟图像的突然明显垂直位移。这样的修正可能会破坏用户体验。
所以，微软提出可以使用基于所显示图像内容确定的校正策略来校正双目显示系统中的垂直错位。简而言之，垂直融合幅度取决于图像内容中虚拟对象的刺激大小。垂直融合振幅根据用户注视的物体的刺激大小而变化。刺激较小时，垂直融合幅值相对较小，刺激较大时，垂直融合幅值相对较大。
发明提供了用于分析通过双目显示系统显示的图像内容以确定一个或多个虚拟对象的刺激大小。然后，根据刺激大小和垂直偏差确定垂直偏差校正策略。
在一个实施例中，垂直错位校正策略是基于虚拟图像内容在中央凹视图区域确定。中央凹是视网膜具有最高视力的区域。在存在多个虚拟对象的情况下，使用中央凹视图区域可以帮助确定基于用户焦点的虚拟对象的适当垂直错位校正策略。
在一个实施例中，基于相对较小的刺激尺寸，垂直错位可以很快得到纠正。这可能有助于改善急性不适，并有助于避免视力模糊和复视。另外，基于相对较大的刺激尺寸，垂直错位的正确速度相对较慢。这可能有助于在执行校正时避免可感知的图像移动。
在进一步的例子中，可以确定由于相对较大的刺激尺寸而不纠正垂直错位。这可能有助于避免干扰用户体验。通过根据图像内容确定刺激大小，可以在不需要用户输入的情况下进行垂直错位校正。
图1显示了包括双目显示系统102的头戴式显示设备100形式的示例计算系统。双目显示系统102包括左眼显示器102L和右眼显示器102R。
显示设备100包括用于每只眼睛的一个或多个眼动追踪摄像头112和一个或多个闪烁光源。每个闪烁光源114配置成将光指向用户眼睛的角膜。分析来自每个眼动追踪摄像头的图像数据，以确定每个闪烁光源的闪烁位置和眼睛瞳孔的位置。然后，闪烁和瞳孔位置数据可用于确定注视方向。
图2示出头显设备200的框图。头显设备200包括配置为追踪用户注视位置的眼动追踪系统202。眼动追踪系统202包括一个或多个闪烁光源，以及一个或多个图像传感器，其配置为捕获用户每只眼睛的图像。注视位置数据204可用于确定图像帧的中央凹视图区域和/或确定用户正在注视的虚拟对象。
注视位置数据204同时可用于确定用户的左眼和右眼的辐合平面。在相关示例中，可以根据左眼注视方向与右眼注视方向的交集来确定辐合平面的深度。
头显设备200还包括用于向用户显示图像内容的双目显示系统206。双目显示系统206包括左眼显示器208L和右眼显示器208R，用于显示包括左图像212L和右图像212R的图像内容210。
头显200还包括显示错位检测系统218，系统配置为检测通过左眼显示器208L和右眼显示器208R显示的图像内容之间的错位。显示错位检测系统218可包括一个或多个图像传感器。
在一个实施例中，显示错位检测系统218可以利用眼动追踪系统202的图像传感器。可以显示用户左眼和右眼的图像218，以确定左图像212L和右图像212R分别投影在左眼和右眼上的位置。
显示错位检测系统218捕获显示在左眼显示器208L和右眼显示器208R的图像内容图像。显示错位检测系统218可以向控制器230输出指示垂直显示错位和/或水平显示错位的信号。随着时间的推移追踪显示错位信息并将其存储在内存中。
图3显示了用户302佩戴头显设备300的示例场景。
如上所述，人类视觉可以融合立体的左右图像，以感知场景中预定深度和/或位置的显示内容。图4示意性地示出可分别在头显设备300的左眼显示器和右眼显示器显示的左眼图像310L和右眼图像310R。
左眼图像310L和右眼图像310R经人眼视觉系统融合呈现虚拟物体310。左眼图像310L包括从用户300的左眼角度所看到的虚拟物体310的图像。同样，右眼图像310R包括从用户300的右眼角度来看的虚拟对象310的图像。
图5示意性地示出图4的左眼图像310L与右眼图像310R之间垂直错位的示例，并导致人类视觉系统不能融合图像。如上所述，软件和/或硬件问题可能导致左眼图像310L和右眼图像310R之间的垂直错位500。因此，用户300可以体验到双重视觉或模糊。
人类视觉系统正确融合显示图像的能力取决于包括垂直错位程度和图像内容的刺激大小在内的因素。当呈现一对左眼和右眼图像包含相对较小的垂直偏差时，与具有相对较大的垂直偏差的实例相比，用户更有可能融合这对图像。但具体可能因不同用户而异。
另外，在相对较小的刺激尺寸下，不太可能进行适当的图像融合。
图6和7示出包含相对较小的刺激尺寸的图像内容的垂直。图6示出佩戴头显设备602的用户600的示意性俯视图。头显设备602向用户600呈现虚拟图像内容，包括第一虚拟对象604和相对于第一虚拟对象604更大的第二虚拟对象606。在图6中，用户600正注视着第一虚拟对象604。这样，用户600正在查看包含相对较小的刺激尺寸的图像内容。
图7示意性地示出虚拟对象604的左眼图像700和右眼图像702。图像包括一个垂直错位704。由于相对较小的刺激尺寸，垂直错位704超过垂直融合振幅。所以，用户600不能正确融合左眼图像700和右眼图像702。这导致双重视觉，如图706所示。
图8和9显示了包含相对较大的虚拟对象的图像内容的垂直错位。如图8所示，用户600正注视第二虚拟对象606。因此，用户600正在查看包含相对较大刺激尺寸的图像内容。图9示意性地示出虚拟对象606的左眼图像900和右眼图像902。然而，由于相对较大的刺激大小，垂直错位904不超过垂直融合振幅。这样，用户600可以将左眼图像900和右眼图像902融合为融合图像906。不过，融合图像906可能显得模糊。
如上所述，可以根据图像内容中一个或多个对象的刺激大小来确定垂直错位校正策略。在具有相对较小的刺激尺寸的示例中，例如图7，可以以相对更快的速率执行垂直错位校正，以减少任何双重视觉效果的持续时间。
在这样的例子中，基于相对较小的刺激尺寸，可以在1秒或更短的时间内应用垂直错位校正。在另外的例子中，垂直错位校正以每秒10角分或更高的速率应用。在进一步的示例中，可以立即应用垂直错位校正。
在具有相对较大的刺激尺寸的示例中，如图9所示，可以相对缓慢地执行垂直错位校正，以帮助避免有损观看体验的可感知校正。在这样的例子中，基于相对较大的刺激尺寸，在1秒或更短的时间内应用垂直错位校正。例如，校正可以在1-3秒内应用。在其他例子中，垂直错位校正以每秒1-10角分的速率应用。
在进一步的示例中，可以根据眼动追踪系统对跳眼运动的检测来调整垂直错位纠正的速率。例如，眼球运动的平滑追踪可能表明，垂直错位纠正正在以用户感到舒适的速度进行。对于相反的情况，可以触发校正速度的调整，以试图实现眼睛的平滑追踪。
可以用任何合适的方式分析图像内容。在一个实施例中，可以在呈现要显示的图像帧之后执行图像内容分析，或者在显示图像帧之前执行，或者在显示图像帧时执行。通过这种方式，可以使用有关眼动追踪的最新可用信息进行分析。
在这样的例子中，图像处理技术可以用来获得关于虚拟对象刺激大小的信息。在示例中，可以通过使用边缘检测算法确定虚拟对象的边界来分析图像数据帧。然后可以进行几何分析来测量虚拟对象的大小。
在一个实施例中，可以基于将刺激大小与阈值进行比较来确定相对较小的刺激大小或相对较大的刺激大小。在各种示例中，可以固定阈值，或可以根据用户输入调整阈值。在进一步的示例中，阈值基于度量而不是实际大小数据。
在一个实施例中，图像内容可以包含指示图像内容中一个或多个虚拟对象大小的元数据。在这样的示例中，可以从虚拟对象的元数据确定虚拟对象的刺激大小。所获得的刺激大小信息可基于与所呈现的虚拟对象相交的确定注视方向。
图11示出垂直错位校正的流程图。
在1102，接收指示双目显示系统的左眼显示器和右眼显示器之间的垂直错位的信号。例如，这样的信号可以通过包括双目显示系统的显示设备的显示错位检测系统输出。
在1104，分析通过双目显示系统显示的图像内容，以确定图像内容中虚拟对象的刺激大小。
在1106，基于注视位置数据确定用户的中央凹视图区域，并分析与中央凹视图区域对应的部分图像内容以确定虚拟对象的刺激大小。
在1108，分析图像内容包括将图像内容的至少一部分变换到频域。
在1110，使用傅里叶变换来执行变换。
在1112，分析图像内容包括在图像帧上执行边缘检测算法并基于一个或多个边缘之间的距离确定虚拟对象的刺激大小。
在1114，从图像元数据确定虚拟对象的大小。
在1116，至少基于所述虚拟对象的刺激大小确定一种垂直错位校正策略。
在1118，基于低于阈值的刺激大小确定相对较快的校正。
在1118，基于高于阈值的刺激大小确定相对较慢的校正。
在1120，确定垂直错位策略至少基于频域中空间频率的分布。
在1122，基于垂直失调策略，控制双目显示系统以纠正垂直错位。
在1124，基于相对较大的刺激尺寸施加相对缓慢的校正。
在1126，应用相对较慢的校正包括以每秒1-10角分的速率应用校正。
在1128，基于相对较小的刺激尺寸施加相对较快的校正。例如可以在1到3秒内应用相对较慢的校正。
在1130，应用相对较快的校正包括以每秒10角分或更高的速率应用校正。
在1132，所述方法包括瞬时施加校正。
名为“Vertical misalignment correction in binocular display systems”的微软专利申请最初在2023年3月提交，并在日前由美国专利商标局公布。