梦晨发自凹非寺量子位报道|QbitAI

蒙尘来自奥飞寺

量子比特报告 公众号QbitAI

相信你已经看过很多关于使用 GAN（生成对抗网络）创建卡通人物的研究。

但这次新发布的AniGAN可以让你指定任何绘画风格！

只需拍摄一张真人照片并添加您喜欢的艺术家的作品作为参考，您就可以将其转换为相应的绘画风格，同时保留原始照片的发型、五官和其他形状特征。

将其用作个人资料图片不是很好吗？

另一个 GAN？ 这次更强了！

AniGAN团队认为，之前的二维角色生成算法存在两大问题。

要么不能很好地模仿参考图的绘画风格，要么会过分强调保留原照片的形状，但不适合二维人物的风格，导致扭曲和瑕疵那些不符合审美的。

通过对比可以看出，AniGAN生成的结果更能模仿参考图像的颜色和材质，并将原始特征转换为合适的二维特征。

下图使用了更大的数据集，包括更多样化的颜色、线条、材质、发型和面部特征。

新的生成器架构

为了在变换形状特征的同时进行风格迁移，AniGAN 团队提出了一种新的生成器架构。

它与之前使用残差块（Residual Blocks）将样式信息注入生成器瓶颈层的方法不同。

AniGAN提出了Adaptive Stack Convolutional Block和Fine-grained Style Transfer Block，以下简称ASC块和FST块。

ASC 块由卷积层、激活层和归一化层组成。

过去使用残差块时，一些样式信息可能会被忽略。 例如，在下面的示例中，右眼被错误地生成为棕色。

FST 块由上采样层、卷积层和归一化层组成。

样式数据将被注入到上采样层之后，而不是瓶颈层，瓶颈层负责将局部形状特征处理为样式数据，并将其转换为相应的二维形状。

当去除FST块时，生成的图像的面部特征不适应二维风格。

两个新的标准化函数

之前的AdaLIN标准化功能按通道将实例标准化（IN）和层标准化（LN）结合起来，而忽略了通道之间的关系。 因此，它无法同时承担风格转移和特征转换的任务。

AniGAN团队提出了point-wise层实例归一化和自适应point-wise层实例归一化，以下简称PoLIN和AdaPoLIN。

PoLIN 和 AdaPoLIN 将合并所有通道的 IN 和 LN。

从左到右分别是（a）参考图像，（b）原始照片，（c）-（f）是去除 PoLin 或 AdaPolin 的各种组合的消融实验，（g）是形式效果

双分支鉴别器

二维人脸与真实人脸有很大不同，而且都是关于脸的。 在研究中这些被称为域 X 和域 Y。

二分支判别器不仅可以通过卷积层的两个分支处理特定于域的数据分布，还可以处理跨域共享的数据分布。

双分支判别器使得生成的二维人脸缺陷更少，更赏心悦目。

另外，这种判别器在后续的研究中也可以很容易地扩展为多分支判别器（Multi-Branch Discriminator）。

图像质量远远超越前辈

研究团队使用 Frechet Inception Distance 指标来评估生成图像的质量。 值越低，生成的图像越接近参考二维图像。

并使用学习感知图像补丁相似度来评估生成图像之间的风格差异。 值越高，生成的多个图像越多样化。

此外，还选取了20名20-35岁的测试者进行A/B测试，询问他们不同算法生成的图像中哪些最符合真实照片的特征和参考图像的风格。 统计结果是AniGAN得分最高。

作者团队

该论文第一作者李兵，2016年毕业于中科院博士学位，现为阿卜杜拉国王科技大学视觉计算中心博士后研究员。

该团队的其他成员来自字节跳动、台湾国立清华大学和深圳大学。

参考链接：

1]

- 超过-

量子比特QbitAI·今日头条签约

关注我们，第一时间了解前沿技术动态