GoSkinning V4.0发布在即 :解读人效提升6倍背后的AI蒙皮算法

全文2515字,阅读约需8分钟,帮我划重点

划重点

01腾讯游戏研发的GoSkinning AI自动蒙皮工具,旨在提升动画制作中的蒙皮过程自动化程度,解放美术师的双手。

02GoSkinning整体蒙皮AI技术方案包括四个模块:顶点特征表达、骨骼/骨链特征表达、顶点与骨骼之间关系表达。

03为此,GoSkinning设计了局部蒙皮AI和后处理辅助工具,以修复整体蒙皮和部分蒙皮后可能存在的瑕疵。

04目前,GoSkinning V4.0版本即将发布,支持大规模角色模型处理、业界首个四足AI模型以及全新的局部AI模型。

以上内容由腾讯混元大模型生成,仅供参考

传统的蒙皮过程在动画制作中往往是极为耗时且繁琐的环节,游戏角色及衣物复杂且多样,动画师们需要耗费大量精力去手动调整模型骨骼与皮肤之间的关联,以确保在角色运动时,皮肤能够自然、逼真地跟随骨骼变形。这一过程不仅要求动画师具备高超的技艺和丰富的经验,还需要他们投入大量的时间和耐心。

然而,即使是经验丰富的动画师,在面对复杂的角色模型和众多的动画帧时,也难免会出现一些细节上的瑕疵或效率低下的情况。

01

GoSkinning产品理念

腾讯游戏研发的GoSkinning AI自动蒙皮工具,希望将繁琐的劳动交给智能科技,解放美术师的双手,让他们的才华发挥在无限的创意中。

图片

GoSkinning团队为此设计了一套完备的流程来最大限度的提升蒙皮过程的自动化程度(如下图所示),它包括三个步骤:
1.  整体蒙皮:用户输入整个角色模型与骨骼,整体蒙皮 AI 自动计算出所有顶点的绑定权重。
2.  局部蒙皮:用户选择效果不佳区域的顶点及其对应的骨骼,或某个部件(如背包、裙摆等),局部蒙皮 AI 将计算选择的部分顶点的绑定权重。
3.  后处理辅助工具:用户用此修复一些极端样例, 比如“接缝处权重不一致”、“共线顶点权重偏差过大”、“前后层穿插”等问题。
图片

GoSkinning 整体方案

02

GoSkinning 整体蒙皮AI

整体蒙皮,顾名思义就是对整个角色模型进行绑定蒙皮,如下图所示,用户输入整个角色模型及其骨骼,整体蒙皮 AI 自动预测出所有顶点的权重绑定结果。

图片

GoSkinning 整体蒙皮流程

对于整体蒙皮 AI 而言,不仅需要考虑全局的特征,如整体衣物的风格,是贴身西装、还是复杂裙摆、或是机甲风格衣物,如整体骨架的拓扑结构有没有辅助骨骼。每种风格衣物的动画效果均不一样,不同的骨骼对应的绑定方式也不一样。同时还需要考虑局部特征,该顶点处于身体的哪个部位(不同部位顶点权重分配方式不一样),它的域顶点绑定的权重如何(需保证其与域顶点权重过渡平滑),以及它与每个关节的相对关系如何(通常会绑定测地线距离最近的部分顶点),它与每条骨链之间的关系又是如何(如裙摆顶点通常绑定在单一骨链或相邻的两条骨链上),因此在算法的设计上,需要对这些特征考虑完备。

图片

GoSkinning 整体蒙皮技术方案

为此,整体蒙皮 AI 设计了复杂的神经网络结构来提取各类特征(如上图所示),主要包括四个模块:

 1.顶点特征的表达:首先利用 T-Net 对输入特征做变换,并构建了多个子图,利用 EdgeConv 在每个子图中提取每个顶点及其域的信息,并融合多个子图特征提取结果,最后经过 MLP Module 来提取顶点全局、局部信息,融合得到最终的顶点特征。

2. 骨骼/骨链特征的表达:构建骨骼拓扑图,利用 EdgeConv 模块及 MLP 模块来分别提取骨骼骨链的特征信息。

3.顶点与骨骼之间关系的表达:利用上图中 Inter Module 来进行顶点特征与骨骼特征之间的信息交换,从而提取顶点与骨骼之间的关系。

通过整体蒙皮 AI,在不同的业务数据上,均取得了不错的效果,如下图所示(白色区域说明 AI 蒙皮与人工蒙皮的权重一致,颜色越深误差越大)。图片

GoSkinning 整体蒙皮效果 

对于简单贴身的衣物而言,基本无需人工的二次调整,而对于复杂的衣物,受制于数据本身,其仍有一定的局限性,如上图 QQ Dance 的一些复杂的裙摆,有少量误差较大的红色区域。复杂的衣物(例如多层且几何复杂的裙摆),人工蒙皮过程中亦难分辨其需绑定的骨骼,非常容易出现误绑,同时因为数据存在二义性(不同的美术师有不同的骨骼布局,不同的权重分配方式),也会导致部分衣物出现 AI 权重分配与人工蒙皮不一致的情形。为此GoSkinning 设计了部分蒙皮 AI 来修复此类问题。

图片

整体蒙皮遗留问题

03

GoSkinning 局部蒙皮 AI

局部蒙皮AI,其可以对任意的部分顶点、部分骨骼进行绑定,整体蒙皮后,用户可选择一些效果不理想的区域,或者是误绑定的区域,利用局部蒙皮 AI,进行二次绑定;同时针对某些特定的部件,如裙摆、背包等,利用部分蒙皮网络结构,训练了特殊部件的局部蒙皮 AI。基于这些方法,不仅解决了误绑、数据二义性带来的问题,并且在某些特殊部件上,达到了比整体蒙皮更好的效果。

图片

局部蒙皮流程

部分蒙皮整体流程如上图所示,用户选择部分顶点,以及与之对应的部分骨骼,并执行部分蒙皮操作,即可对部分顶点进行二次蒙皮。

局部AI算法修复裙摆问题

04

GoSkinning 后处理辅助工具

执行了整体蒙皮和部分蒙皮后,在某些细节上仍然会存在一些瑕疵,如 mesh 重叠区域权重不一致所引起的穿插问题、接缝处权重不一致所引起的裂缝问题,以及共现顶点权重不一致所带来的形变后顶点不共线的问题等等。针对这些瑕疵,GoSkinning 结合传统几何方法,开发了一系列后处理辅助工具来修复这些问题。如下方所示,包括穿插修复工具、形变矫正工具、权重约束工具等等,这些工具集可作为自动或半自动(根据用户选择)后处理工具大幅提高 GoSkinning 整体自动化程度。

Mesh变形的权重优化工具
权重参数化调节工具

综上,GoSkinning 的智能 AI 蒙皮算法采用了先进的神经网络架构。它首先对输入的角色模型进行全面的分析和特征提取,包括骨骼结构、皮肤拓扑、模型的几何形状等信息。然后,根据这些提取的特征,结合预先学习到的蒙皮模式和变形规律,在极短的时间内计算出最佳的蒙皮权重分配方案。在整个过程中,算法还会不断地进行自我优化和调整,以适应不同的模型和动画需求,从而不断提高蒙皮的质量和效率。

GoSkinning AI算法的发展也经过了数次迭代,如今已经进化到4.0版本,即将发布的4.0版本可支持:

 对大规模角色模型的处理:支持高达 40w 顶点(400k token)的角色模型并行推理,同时算法的准确性相较于上一版本 general - v3,V4 版本在量化误差上实现了令人瞩目的 18% 的显著降低,可以做到80%以上的人效提升。

 业界首个四足AI模型:可以全面支持四足动物、奇幻生物的角色蒙皮。

● 全新的局部AI模型:精准定位并支持任意局部 mesh 的绑定,解决那些容易出现误绑、穿插、形变等遗留局部问题的棘手区域。

裙摆AI:首个专门面向复杂裙摆蒙皮打造的裙摆 AI 工具,开创了行业先河,首创针对单层、多层、复杂造型裙摆的一体化解决方案。有效解决裙摆形变、走线不均匀、穿插等长期困扰创作者的难题,让裙摆在角色运动中自然飘逸,为角色增添灵动之美。

GoSkinning V4.0版本发布在即,还有着更多的特性以及强大的能力等你来探索。                

更多Showcase,后续可以关注GoSkinning官方视频号和公众号,加入腾讯游戏AIGC产品交流群,预约 GoSkinning V4.0版本体验,了解游戏行业前沿的AI技术。