利用别人的眼睛反射来看世界，这是一种科幻、诗意甚至恐怖的想法，现已成为现实。马里兰大学的团队最近提出了一种新方法，通过利用包括眼睛反光的人像，来重建摄像机未拍摄到的场景。这种想法看似疯狂，却有着足够的理论依据。
研究者表示，因为人的眼睛具有高度的反射性，因此只需从头部移动的一系列帧中提取眼睛反射数据，就能成功地重建并渲染3D画面。这个概念类似于著名科幻剧《黑镜》的情节，令人不禁怀疑该剧导演是不是“神预测”。
AI还原《黑镜》的疯狂科幻想法
这项研究引起了网友们的关注和热议，因为这种技术已经离我们实现不远。对于一些科幻迷来说，这意味着可以实现类似于《攻壳机动队》或《银翼杀手》的虚构场景。当然，也有人担心这种技术可能被用于调查和取证等不良用途。
为了实现这种科技，团队模拟了人眼反射的过程，并在固定相机位置拍摄的单目图像序列中进行了重建。然而，这项工作却具有很多挑战，比如角膜定位的固有噪声、虹膜纹理的复杂性以及每张图像中捕获的低分辨率反射等。为了解决这些问题，该团队引入了角膜姿态优化、虹膜纹理分解和基于人眼虹膜的径向纹理正则化损失等技术方法。
与传统需要移动相机的方法不同，这种新方法将相机放置在固定的位置上，并依赖用户自身的移动来实现对场景的重建。考虑到准确估计眼睛姿态的难度，以及虹膜和场景反射之间的复杂交织关系，该任务也是非常具有挑战性的。为了解决这些问题，团队对眼睛姿态、描述场景的辐射场以及观察者眼睛虹膜纹理进行了联合优化。
通过使用这个新方法，研究者们已经尝试将Miley Cyrus和Lady Gaga的MV中的场景重建出来。然而，由于视频的质量不够高，重建结果的准确性还需要进一步的验证。
操作过程繁琐，且无法精准还原
另外，根据健康成年人的实验数据，人们可以通过在图像中计算一个人的角膜像素大小来准确计算他们的眼睛位置。为了训练反射的辐射场，研究者们采用了从相机拍摄的光线，并将其反射在近似眼睛几何形状上的方法。另外，为了避免虹膜在重建过程中引起混乱，研究者们还训练了一个学习虹膜纹理的二维纹理映射来进行纹理分解。
作者讲述了对真实场景中的眼球进行3D重建的方法。在后期采用Adobe Lightroom处理图像，以减少角膜反射中的噪声。在拍摄时，人物需要在相机的视野范围内移动，以便团队在每个场景中拍摄5-15帧图像，并在人物两侧加入光源来照亮目标物体。由于场景照明具有较大的动态范围，作者在所有实验中使用16位图像，以避免丢失观察到的反射中的信息。
虽然这个方法能够从真实世界的人像图片中重建3D场景，但是角膜边界的模糊性使得在图像中实现精确的定位十分困难。此外，对于一些眼睛颜色，例如绿色和蓝色，3D重建也会更加困难，因为虹膜纹理较亮。此外，在没有明确建模纹理时，重建后的画面中还会出现更多的噪点。
未来用途广泛，但隐私如何保障？
虽然现在这项技术还做不到完美还原“眼中的世界”，但一旦在未来成熟，那么岂不是随随便便就可以通过一段视频窥伺到任何人的隐私？
眼睛是我们重要的视觉器官之一，在人工智能的发展下，利用人眼反射对环境进行3D场景的重建技术愈加成熟。通过眼睛的反射来模拟多个视图，可以获取超越视线的3D场景信息，这项技术有着广泛的应用前景。
在医学方面，这项技术可以为医生提供更精确的眼部疾病和损伤诊断，并协助手术医生进行手术规划。而在安全监控领域，可以利用这项技术来检测潜在的犯罪行为，如分析人们在特定区域的行为来进行监控。除此之外，在游戏和教育领域，这项技术还能为交互性和沉浸感的应用体验提供更多可能性。
此外，这项技术还具有许多法医应用，例如通过分析被害人的眼睛来确定罪犯的身份。更重要的是，这项技术不需要特殊的相机设备，提高了技术的普及性和可用性，能够应用在各种场合。
总之索菲亚认为，这项技术虽然不完善，但它的出现将为我们的生活带来更多的便利和乐趣，同时也为各行各业带来了新的机会和挑战。