GAN Prior Embedded Network for Blind Face Restoration in the Wild
会议时间：2023-02-05
会议地点：腾讯会议
关键词：GAN DNN GPEN
作者：杨涛等
期刊：IEEE Xplore
年份：2021
论文原文:
背景
人脸图像是日常生活中最常见的图像类型之一，然而，人脸图像往往优于低分辨率、噪声、压缩和模糊等诸多因素的影响，或这些因素的综合作用使得图片退化。人脸图像恢复技术是人们一直关注的焦点，其目的为将退化的图像还原为清晰逼真的人脸图像。
主要工作
作者提出了一个GAN先验嵌入网络用于盲脸图片恢复。总结为以下几点：
1将GAN先验模型嵌入到了深度神经网络中，并微调模型，以至于更好的恢复盲脸图片。
2GAN模块的设计能够很好的嵌入到U-shape深度神经网络中。深度学习网络中的深层和浅层特征分别作为GAN的latent code 和 noise输入，从而重建图像的全局结构、局部人脸细节和背景。
3作者的方法达到了一个很好的成绩。它能够处理在现实场景中拍摄的严重退化的人脸图像。
所提出的方法
MAPPINGMODPSAMPLINGNETWORKCONVGANBLOCKDEMODCONSTGANBLOCK(B)(A)DISCRIMINATORMODCONVDEMODNOISEMAPPINGCONCATWNETWORKAFFINE TRANSFORMGAN BLOCKCONSTNOISE BROADCASTBLOCKGAN(C)DITDISCRIMINATORFIGURE 3: THE ARCHITECTURE OF GPEN. (A) THE GANPRIOR NETWORK; (B) DETAILED STRUCTURES OF A GAN BLOCK; AND (C) THE FULLNETWORK ARCHITECTURE OF GPEN. THE DEFINITION OF "MOD" AND "DEMOD"' CAN BE FOUND IN [22].CSDN@泡面加蛋97
上图为作者的方法，其中a部分为GAN先验网络、b部分为GAN模块细节展示、c部分为所提方法的流程图。 U-Net已成功并广泛应用于许多图像恢复任务，并证明了其在保存图像细节方面的有效性。因此，我们的GPEN总体上遵循Ushaped编码器-解码架构。因此，GAN先验网络的设计应满足两个要求:1)能够生成HQ人脸图像;2)它可以很容易地嵌入到Ushaped GPEN作为解码。
方法模块化分析
GAN先验网络
对于GAN先验网络而言，即预训练的意思。当然在本文中，GAN先验网络需要满足以下几点要求：
1能够生成高质量的人脸图像
2能够较为容易的嵌入到U-Shaped中作为解码。
style-GAN
GAN的框架很多，在本文中，作者选用的为style-GAN框架。GENERATORTRAINING1024X1024512X1RANDOM VECTORDISCRIMINATOR(LATENT CODE)1024X1024LOSS(E.G.WGAN-GP)REAL SAMPLEDOWNSCALINGHTTPS://HTPSSHTTPS://HTTPS://HTTPS://HTTPS://HTTPS://
LATENT Z E 2NOISELATENT Z E ZSYNTHESIS NETWORK GNORMALIZENORMALIZECONST 4X4X512MAPPINGSTYLENETWORK FFULLY-CONNECTEDADAINPIXELNORMCONV 3X3FCCONV 3X3FCSTYLEADAINFCPIXELNORM4X4FC4X4FCUPSAMPLEUPSAMPLEFCCONV 3X3CONV 3X3FCFCPIXELNORMADAINCONV 3X3CONV 3X3BW E WPIXE LNORMSTYLEADAIN8X88X8(B) STYLE-BASED GENERATOR(A) TRADITIONALHTTPS://HTPG://BTBGRCCSDN@泡面加蛋97
上图一为GAN框架，后者则展示了style-GAN框架。 对于style-GAN可以总结为以下几点：
1对于Latent code部分增加了一个映射。（可理解为：脸部图片具有一定的规则性，这部分的映射旨在提取到内在关联）
2GAN中增加了多个noise。（旨在刻画细节）
训练策略
对于这个项目，首先收集一些高质量的人脸图像用于训练ProGAN，随之将训练好点ProGAN嵌入到U-Shaped的深度神经网络中，即文中的GPEN，最后使用一组合成的低质量-高质量图片对网络进行微调。
微调模型
对于模型的微调，作者选用了三个损失函数：对抗损失LA、 特征匹配损失LF 以及内容损失LC。
对抗损失LA 继承于ProGAN(-D(G(X))LA MIN MAX E(X) L1+EXPLOGGDCSDN@泡面加蛋97
这里的X和X~分别代表高质量图片和其退化了的图片。
内容损失LC 表示生成器的输出，与真实图片之间的L1范数距离。
特征匹配损失LF 类似于感知顺损失，但是其是基于判别器而言的。
(X)-011D'(X)-0%(C%基金金.6%LFMINE(X)I三0
其中T是用于特征提取的中间层总数。Di(X)是在鉴别器D的第i层提取的特征。
所以最终的损失可定义为：LA+ALC+BISEN@泡面加蛋弱
实验
数据集与评估
FFHQ数据集包含70000张分辨率为10242的HQ人脸图像，用于训练我们的GPEN模型。首先用它来训练GAN先验网络，然后从中合成LQ图像来对整个GPEN进行微调。为了评估我们的模型，我们使用CelebAHQ数据集来模拟LQ人脸图像，以定量地比较GPEN与其他最先进的方法。我们还从互联网上收集了1000张真实世界的LQ人脸(将公开)，以定性地评估我们的模型在野外的表现。在定量评价中，使用峰值信噪比(PSNR)， Fréchet初始距离(FID)和学习感知图像补丁相似性(LPIPS)指标。值得一提的是，这些指标只能作为评价的参考，不能真实反映BFR方法的性能，尤其是野外BFR的性能。
一些实验结果
(B)(E)(P)(A)(C)FIGURE A; COMPARISONS OF OUR VARIANTS BER, ( ( INPUT (B) GPEN-W/O-FI:(E) GPEN-W/O-NOISE;(D) GPEN-NOISGPEN;(F)GROUND TRUTH.(F)(C)(Q)(E)(D)(A)(H)(G)IN SYNTHSIZED DEGRADED FACES. (A) DEGRADED FAD FACES;(B) SUPER-FAN [5];(C)GFRNETFIGURE 5:BLIND FACE RESTORATION RESULTS ON SYN(29):(D) GWAINET(9);(E) PIXZPIXHD(43];(D) GROUND TRUTH,CSDN@泡面加蛋97
TABLE 2: COMPARISON (PSNR,FID AND LPIPS) OF DIFFERENTTABLE 1: COMPARISON (PSNR,FID AND LPIPS) OF DIFFERENTVARIANTS OF GPEN.BFR METHODS.LPIPSYLPIPSYPSNR个FIDJFIDYMETHODPSNR个METHODPIX2PIXHD [43]GPEN-W/O-FT76.8920.4512.550.6530.49492.71SUPER-FAN[5]GPEN-W/O-NOISE136.8313.300.70921.560.61695.62GPEN-NOISE-ADD21.700.359GFRNET [29]134.9220.7134.260.597GPENGWAINET [9]19.84135.840.3460.56920.8031.72HIFACEGAN[47]21.330.39256.672 CSDIS泡面加蛋9731.72GPEN20.80
讨论过程
总结
优点:开拓视野，可以用于生成数据集