差点以为是本人，呢个3D人体生成模型厉害嘎啦，仲可以自己改POSE

转载：本文来自微信公众号“量子位”（ID:QbitAI），作者：丰色，转载经授权发布。

好多3D人体模型都好强大，但总是难免“裸奔”。

像要创造出真正嘅人类“化身”模型，衣服和头发唔可或缺。

但呢啲元素嘅精确3D数据非常稀少，仲要好难获得。

来自三星AI中心（莫斯科）等团队嘅技术人员一直致力于此方面嘅研究，最终佢哋开发出咁样一个模型：

生成嘅3D人，穿住原本嘅衣服、发量发型也都毫无保留地呈现。

乍一睇，“跟真人似嘅”。

更棒嘅系，无需模特示范，模型还可以“举一反三”，摆出各种POSE！

效果是咁样嘅：

该模型被命名为StylePeople。

来睇睇具体点样搞嘅吧！

神经装扮模型（The neural dressing model）

其实，唔止是“裸奔”，好多三维人体模型还好“死板”：模特摆乜嘢姿势模型就跟住摆乜嘢。

好似之前，利用隐函数来生成嘅三维人体模型能够高度还原模特嘅住装和发型嘎啦，但是人物姿势依然唔够变通，只能从原模特嘅几个特定视角生成。

ps.都系该团队嘅研究成果

所以喺为3D人体模型还原衣服颜色、褶皱和发型嘅同时，都要保证人物嘅姿势可以“举一反三”。

为此研究人员采用将多边形实体网格建模同神经纹理相结合嘅方法。

多边形网格负责控制和建模粗糙嘅人体几何姿势，而神经渲染负责添加衣服和头发。

首先佢哋设计‌一个神经装扮模型（The neural dressing model），该模型结合‌可变形网格建模同神经渲染，如下图所示。

最左列表示被可视化嘅前三个PCA组件。

第2、3列为喺用SMPL-X建模嘅人体网格上叠加“人型化身”嘅纹理（texture）。

第4、5列为使用渲染网络光栅化渲染出嘅结果。

可以优雅地处理出宽松嘅衣服和长头发以及复杂嘅穿衣结构！

接下来，基于上面嘅神经装扮模型，研究人员造出能生成“Fullbody”嘅3D人体模型。

最终嘅生成架构是StyleGANv2和神经装扮嘅结合。

StyleGAN部分使用反向传播算法生成神经纹理，然后将其叠加喺SMPL-X网格上，并使用神经渲染器进行渲染。

喺对抗性学习度，判别器将每一对图像睇为同一个人。

提高‌视频和少量图像生成3D人类模型嘅技术水平

喺对神经装扮呢一方法嘅效果验证度，研究人员首先评估‌基于视频素材嘅3D模型生成结果。

效果如文章开头所展示嘅图像，左边是示例源帧，其余嘅图像是左边视频人物嘅“化身”。喺简单嘅增强现实程序做嘅背景下，呈现出‌模特先前并没有摆过嘅各种姿势。

接下来，对基于小样本图像素材嘅神经装扮效果进行评估。

研究人员使用仅两个人嘅People Snapshot数据集将佢哋嘅神经装扮方法同第啲各种方法（如360Degree等，见表）进行比较。

衡量生成嘅模型质量嘅指标包括LPIPS（感知相似度）、SSIM（结构相似性）、FID（真实样本同生成样本喺特征空间之间嘅距离）、和IS（清晰度同多样性得分）。

结果显示‌佢哋嘅方法喺所有指标上都占有优势，

除咗IS以外，但影响唔多，因为佢同视觉质量嘅相关性最小。

最后，该团队表示，佢哋呢个模型嘅生成效果（如下图）仍然受到目前样本数据规模和质量嘅限制，今后工作重点是提高该模型嘅数据利用率。

有兴趣嘅同学可以持续关注该团队嘅研究进展。

参考链接：

[1] 链接