新垣结衣夫妇的孩子长啥样，用 BabyGAN 预测试试

编者按：本文来自微信公众号“HyperAI超神经”（ID:HyperAI），作者：神经三羊，36氪经授权发布。

内容一览：昨日，日本男星星野源通过事务所发布声明，宣布结婚，新娘正是被不少男粉丝奉为「老婆」的新垣结衣。

关键词：生成对抗网络StyleGAN

「老婆嫁人了」、「星野源夺妻之痛」、「爷青结」……星野源和新垣结衣官宣结婚后，不少网友发出了如上感叹。

剧中两位主角原本是“契约结婚”，后终成眷属二人曾共同出演日剧《逃避可耻但有用》

还有一波网友在坦然接受「失恋」现状后，转而关心起新垣结衣和星野源的孩子来，生怕孩子长得不像妈妈。

微博网友对二人孩子长相，表现出了极大关心

借助开源模型 BabyGAN，我们预测了新垣结衣和星野源未来孩子的长相。

「大河」是《逃避虽然可耻但有用》剧中，二人孩子的名字。

根据 BabyGAN 的预测，如果新垣结衣跟星野源的孩子是个女孩的话，那么不同年龄的大河可能长这样：

BabyGAN 生成的女儿成长动图

如果大河是个男孩的话，那么不同年龄的大河可能长这样：

BabyGAN 生成的儿子成长动图

 BabyGAN 到底是何方神器

BabyGAN 是一个基于 StyleGAN 的儿童长相预测器，可以基于编码器和生成器，输入父亲和母亲的图像，经过神经网络的处理后，生成或预测未来孩子的长相。

预测方法： 使用基于 GAN 架构的神经网络模型，从输入的父母图像中提取 latent representation，然后用算法将其按一定比例混合，生成孩子图像。

父亲（左）、预测长相（中）、母亲（右）

利用 latency direction，可以改变年龄、面部朝向、情绪及性别等参数。

项目地址: 

链接

编码器: 

链接

本教程主要演示了：

1、从本地加载训练好的 BabyGAN 模型

2、准备父母双方图像，并获取其 latent representation

3、用模型生成孩子的面容

4、调整孩子的性别、年龄等参数，生成符合需求的孩子图像

调整孩子性别、年龄等属性的示意动画

安装环境：Python：3.6；TensorFlow：1.15

注意事项：本教程推荐使用 GPU 运行

教程地址：

链接

 模型训练过程详解 

1、准备工作

2、准备父母图像

3、生成孩子图像

4、生成具有某些特征的孩子图像

查看完整教程：

链接

 StyleGAN 相关的高赞开源项目

BabyGAN 模型基于 StyleGAN，除此之外，基于 StyleGAN 和 StyleGAN2，还派生出了诸多优质开源项目。

 StyleALAE 

StyleALAE 是一个基于 StyleGAN 生成器的对抗隐性自动编码器，它不仅可以生成图像质量与 StyleGAN 相当的 1024 x 1024 人脸图像，而且在同样的分辨率下，还可以基于真实图像进行人脸重建和属性更改。

StyleALAE 架构示意图

StyleALAE 编码器使用 Instance Normalization (IN) 层来提取多尺度风格信息，这些信息通过可学习的多重线性映射 (learnable multilinear map)，组合成隐式代码 w。

相关论文：

链接

项目地址：

链接

 StyleFlow 

虽然使用 StyleGAN 可以轻松生成高质量、多样化、逼真的图像，但是使用（语义）属性控制生成过程、同时又保持高质量输出，实现起来却并不简单。此外由于 GAN 潜在空间的纠缠特性，沿着一个属性编辑很容易引起其他属性的变化。

为了解决纠缠潜在空间的条件化探索中，属性条件化采样 (attribute-conditioned sampling) 和属性条件化编辑 (attribute- conditioned editing) 的问题，科研人员提出了 StyleFlow。

如只更改光照、姿势、表情、性别等而不引起其他属性的变化利用 StyleFlow 可以针对某一属性进行修改

用 StyleFlow 对真实图像进行非顺序 (non-sequential) 编辑，针对老年人、非对称等极端图像时，效果优于并发方法 (concurrent method)。

相关论文：

链接

项目地址：

链接

 Pixel2style2pixel (pSp) 

pSp 是一个用于图像到图像转换的 StyleGAN 编码器，它基于一个新型编码网络，可以直接生成一系列风格向量，这些风格向量被输入到预训练 StyleGAN 生成器中，形成扩展的 w+ 潜在空间。

在 pSp 中，编码器无需额外优化就可以直接将真实图像嵌入 w+ ，且利用编码器可以直接解决图像到图像的转换任务，并将其定义为从输入域到潜在域的编码问题。

人脸正面化、图像修复和超分辨率场景中的成果展示pSp 在 StyleGAN 反演、多模态条件图像合成

pSp 可以在不改变结构的前提下，处理各种各样的图像转换任务，如由分割图生成人脸图像、人脸正面化、超分辨率等。

相关论文：

链接

项目地址：

链接

 GenForce 

GenForce 是一个适用于 StyleGAN、StyleGAN2、PGGAN 等深度生成模型的高效 PyTorch 库，它具有以下特点：

1、分布式训练框架

2、训练速度快

3、模块化设计，适用于新模型的原型制作

4、与官方 TF 版本相比，高度再现了 StyleGAN 的训练

5、包含众多带 Colab demo 的预训练 GAN 模型

部分 GenForce 相关项目及论文

相关论文：

链接

项目地址：

链接

完整教程传送门：

链接

Colab 传送门：

链接(ENG).ipynb