大家好,欢迎来到我们的星球知识小卡片专栏,本期给大家分享图像风格化相关的资源。
作者&编辑 | 言有三
1 基本的图像风格化模型
2015年德国图宾根大学科学家在论文《A Neural Algorithm of Artistic Style》中提出了使用深层卷积神经网络进行训练,创造出了具有高质量艺术风格的作品。该网络将一幅图作为内容图,从另外一幅画中抽取艺术风格,两者一起合成新的艺术画,从而使得神经网络风格迁移领域诞生。
在此之后,神经网络图像风格化作为一门新的应用方向被研究,从基于图像的优化方法到基于模型的优化方法,从单模型单风格到单模型多风格,甚至任意风格,涌现出了非常多代表性的研究,以及像AdaIN这样对其他研究领域有重要指导意义的工程技术。
2 基本的图像翻译模型
所谓的图像翻译,即将一张图转换为另一张图。由于它可以实现不同域之间的转换,因此被用于绝大部分输入为图像,输出也是同等尺寸图像的领域,包括图像风格化,图像增强,图像分割等领域,应用非常广泛,其基本模型是基于有监督条件GAN的Pix2Pix模型。
在此之后,非监督的条件GAN模型如CycleGAN及其一系列变种,无监督的条件GAN模型都被广泛研究,是GAN领域中一个非常热门的研究方向。
3 图像翻译模型的改进
图像翻译模型的改进包括几个比较热门的方向,Pix2PixHD为代表的高精度结果生成,StarGAN为代表的多领域转换网络,MUNIT为代表的模式更丰富的结果生成,TUNIT为代表的完全无监督风格化模型,BeautyGAN为代表的局部风格化模型等,这也是图像翻译领域的研究重点,足够支撑起一个研究方向。
4 图像翻译与风格化应用
图像风格化的应用非常的广泛,从我们熟知的油画与动漫风格图生成,到人脸与人体的各种属性编辑,是一个不仅有趣,而且非常有商业前景的方向,值得关注。
5 其他
总的来说,图像风格化和图像翻译是一个比较基础的研究方向,但是也非常贴近应用落地,其研究点包括:
(1) 神经网络图像风格化模型的改进。
(2) 有监督与无监督图像翻译框架的改进。
(3) 图像风格化在娱乐、社交、内容创作、图像增强等基础研究方向上的应用。
(4) 其他等。
以上内容,如果你不想自己学习,可以去我们知识星球的网络结构1000变板块—图像风格化与GAN阅读。