阿里巴巴集团的研究团队近日宣布了一项重大技术创新——TaoAvatar，这是一项旨在重塑 AR 体验的技术。通过构建照片级逼真的 3D 全身虚拟人，TaoAvatar 使得数字世界中的互动更加生动、自然，为用户带来前所未有的沉浸式感受。
据介绍，TaoAvatar 的核心亮点在于其能够创造出与真人高度相似的 3D 虚拟形象，并且这些形象并非静态展示，而是能够在 AR 场景中实时对话、展现丰富的表情和动作。
为了实现虚拟人的生动表现，TaoAvatar 在面部表情和身体动作的控制上进行了深入研发。通过集成先进的 Audio2BS 模型，虚拟人的面部表情和手势能够精准地根据语音内容动态生成，实现口型、表情和动作的完美同步。这使得虚拟人在交流时更加自然流畅，充满了情感和生命力。
在流畅性方面，TaoAvatar 采用了创新的 3D 高斯溅射（3DGS）技术，确保了高质量的实时渲染。即使在高清立体显示设备如 Apple Vision Pro 上，也能保持每秒90帧的流畅运行，从而为用户带来平滑自然的虚拟人动作和交互体验。
此外，TaoAvatar 还具备低存储需求和良好的跨平台兼容性，使其能够轻松部署在各种移动和 AR 设备上。
为了实现这一高性能和低资源占用的目标，TaoAvatar 团队采用了多种先进技术，包括构建个性化的服装扩展 SMPLX 网格、利用教师网络学习复杂的姿态相关非刚性变形，并通过知识蒸馏技术将其优化到一个轻量级的 MLP 网络中。同时，他们还开发了可学习的高斯混合形状来增强外观细节，进一步提升了虚拟人的真实感。