谷歌人像抠图出新作：以后五一足唔出户游世界

转载：本文来自微信公众号“机器之心”（ID:almosthuman2014），转载经授权发布。

编辑：维度、陈萍

人像抠图又出新作！来自谷歌嘅研究者提出‌一种新嘅人像重照明和背景替换系统，可对图像背景进行替换，生成嘅肖像图嘅光照条件同新背景保持一致，仲可以有效地去除图片中嘅强光，细节恢复较好。

喺人像抠图度，前景预测背景替换是至关重要嘅组成部分，之前也出现过各种效果唔错嘅抠图方法，如商汤等提出嘅剩系要单张图像、单个模型嘅方法 MODNet、华盛顿大学单块 GPU 实现 4K 分辨率每秒 30 帧嘅 Background Matting 2.0 等。呢啲方法或多或少都有其局限性。 

呢排，来自谷歌嘅几位研究者提出‌一种全新嘅人像重照明（portrait relighting）和背景替换系统，该系统唔仅保留‌高频边界细节，并精确地合成‌目标人像喺新照明下嘅外观，从而为任何所需场景生成逼真嘅合成图像。 

相关论文已被 SIGGRAPH 2021 会议接收。 

论文地址：https://augmentedperception.github.io/total_relighting/total_relighting_paper.pdf 

该研究嘅亮点和核心是通过 前景蒙版（alpha matting）、重照明（relighting）和合成（compositing ）进行前景估计。 

研究者喺论文中表示，每个阶段都可以喺一个连续嘅 pipeline 中处理，无需使用先验知识（如已知背景或已知照明），也无需专门嘅采集技术，仅使用单个 RGB 肖像图和新嘅目标 HDR 照明环境作为输入。 

模型训练中使用到‌光阶段计算照明（ light stage computational illumination ）系统捕获嘅重照明肖像图，该系统记录‌多种照明条件、高质量几何形状和精确嘅前景蒙版。 

此外，为咗实现真实嘅重照明合成，研究者喺深度学习框架中引入‌一种新嘅每像素照明表征，佢显式地建模肖像图外观嘅漫反射和镜面反射组件，生成‌具有绝佳渲染非朗伯效果（如镜面反射高光）嘅重照明肖像。实验表明，该方法喺处理自然环境图像中是有效嘅。 

合成效果是咁样嘅： 

‍实景动态展示，能睇出来是合成嘅吗？ 

框架方法

研究者提出嘅框架包含以下几个步骤，首先 matting 模块根据畀定嘅 RGB 肖像图估计前景蒙版和前景，然后估计嘅前景和目标 HDR 照明环境馈入重照明模块，该模块负责推理表面几何形状和反照率，并使用每像素重照明表征来显式地建模住色后外观嘅漫反射和镜面反射组件。 

最后，前景蒙版、重照明结果和新背景合成喺一齐，生成‌一张具有新背景嘅重照明肖像图，并且肖像图嘅光照条件同新背景保持一致。 

整体架构如下图 3 所示： 

重照明模块又包含以下几个步骤，首先使用几何网络（Geometry Network）来估计输入前景嘅每像素表面法线 N，然后利用表面法线和前景 F 来生成反射率（albedo）A。使用扩散和镜面卷积运算对目标 HDR 照明环境进行预过滤，然后通过表面法线或者反射向量对预过滤后嘅 map 进行采样，从而生成目标照明（光照图）漫反射和镜面反射嘅每像素表征。接住，使用住色网络（Shading Network）生成最终嘅重照明前景。 

下图 4 展示‌重照明模块嘅详细工作流程： 

住色网络是点样工作嘅呢？首先，使用镜面网络（specular network）来预测单个镜面光照图，并作为输入。然后，将预测得到嘅镜面光照图同漫反射分量和反射率连接，并经由最终嘅神经渲染网络生成重照明前景。具体工作流程如下图 5 所示： 

最后，使用神经渲染器执行实际嘅图像合成，所使用架构 U-Net 同 Geometry Net 和 Albedo Net 嘅结构相同。研究者利用神经渲染器补偿近似（approximation）以及预测到中间图像中嘅任何残差。 

下图 6 展示‌神经渲染器合成图像嘅过程： 

效果对比

喺实验度，研究者从 重照明效果和 matting 模块 效果两个方面将提出嘅方法和 SOTA 方法进行‌比较。 

重照明效果嘅对比

该研究将重照明模块同两种 SOTA 单幅肖像重照明方法进行‌比较：对于喺光照阶段拍摄嘅评估对象，该研究有真实重光照结果，可以对唔同技术进行定性和定量比较。定性结果如下图 10 所示，所提出嘅方法优于以前 SOTA 方法，增加‌照片嘅真实性。 

定量评价结果如下表 1 所示，该研究所提出嘅方法喺肖像重照明任务嘅每个指标上都优于 SOTA 技术。 

研究者还比较‌喺任意光照条件下拍摄嘅户外人像嘅唔同方法，其定性结果如下图 11 所示。结果表明，该方法喺从输入图像（第一列）中 去除强光高光方面特别有效 ，并且可以好好地泛化到户外图像。 

Matting 效果对比

为咗验证自定义人像 matting 模块嘅必要性，研究者将提出嘅方法同 Li and Lu [2020] 和 Xu [2017] 等人嘅方法进行‌对比。 

下表 2 为带有真值标签肖像数据集嘅定量结果： 

值得注意嘅是，呢种尤其针对人像训练嘅方法要优于以往嘅预训练方法。下图 13 中展示‌定性结果，该研究提出嘅方法能够恢复更清晰嘅边界和精细嘅细节，从而获得更精确嘅前景蒙版。