【星球知识卡片】图像风格化与翻译都有哪些核心技术,如何对其长期深入学习...
  58UVOclaJtU3 2023年11月02日 35 0


大家好,欢迎来到我们的星球知识小卡片专栏,本期给大家分享图像风格化相关的资源。

作者&编辑 | 言有三

【星球知识卡片】图像风格化与翻译都有哪些核心技术,如何对其长期深入学习..._机器学习

1 基本的图像风格化模型

2015年德国图宾根大学科学家在论文《A Neural Algorithm of Artistic Style》中提出了使用深层卷积神经网络进行训练,创造出了具有高质量艺术风格的作品。该网络将一幅图作为内容图,从另外一幅画中抽取艺术风格,两者一起合成新的艺术画,从而使得神经网络风格迁移领域诞生。

在此之后,神经网络图像风格化作为一门新的应用方向被研究,从基于图像的优化方法到基于模型的优化方法,从单模型单风格到单模型多风格,甚至任意风格,涌现出了非常多代表性的研究,以及像AdaIN这样对其他研究领域有重要指导意义的工程技术。

【星球知识卡片】图像风格化与翻译都有哪些核心技术,如何对其长期深入学习..._机器学习_02

2 基本的图像翻译模型

所谓的图像翻译,即将一张图转换为另一张图。由于它可以实现不同域之间的转换,因此被用于绝大部分输入为图像,输出也是同等尺寸图像的领域,包括图像风格化,图像增强,图像分割等领域,应用非常广泛,其基本模型是基于有监督条件GAN的Pix2Pix模型。

在此之后,非监督的条件GAN模型如CycleGAN及其一系列变种,无监督的条件GAN模型都被广泛研究,是GAN领域中一个非常热门的研究方向。

【星球知识卡片】图像风格化与翻译都有哪些核心技术,如何对其长期深入学习..._机器学习_03

【星球知识卡片】图像风格化与翻译都有哪些核心技术,如何对其长期深入学习..._神经网络_04

3 图像翻译模型的改进

图像翻译模型的改进包括几个比较热门的方向,Pix2PixHD为代表的高精度结果生成,StarGAN为代表的多领域转换网络,MUNIT为代表的模式更丰富的结果生成,TUNIT为代表的完全无监督风格化模型,BeautyGAN为代表的局部风格化模型等,这也是图像翻译领域的研究重点,足够支撑起一个研究方向。

【星球知识卡片】图像风格化与翻译都有哪些核心技术,如何对其长期深入学习..._编程语言_05

【星球知识卡片】图像风格化与翻译都有哪些核心技术,如何对其长期深入学习..._编程语言_06

4 图像翻译与风格化应用

图像风格化的应用非常的广泛,从我们熟知的油画与动漫风格图生成,到人脸与人体的各种属性编辑,是一个不仅有趣,而且非常有商业前景的方向,值得关注。

【星球知识卡片】图像风格化与翻译都有哪些核心技术,如何对其长期深入学习..._神经网络_07

【星球知识卡片】图像风格化与翻译都有哪些核心技术,如何对其长期深入学习..._神经网络_08

5 其他

总的来说,图像风格化和图像翻译是一个比较基础的研究方向,但是也非常贴近应用落地,其研究点包括:

(1) 神经网络图像风格化模型的改进。

(2) 有监督与无监督图像翻译框架的改进。

(3) 图像风格化在娱乐、社交、内容创作、图像增强等基础研究方向上的应用。

(4) 其他等。 

以上内容,如果你不想自己学习,可以去我们知识星球的网络结构1000变板块—图像风格化与GAN阅读。

【星球知识卡片】图像风格化与翻译都有哪些核心技术,如何对其长期深入学习..._机器学习_09

【星球知识卡片】图像风格化与翻译都有哪些核心技术,如何对其长期深入学习..._人工智能_10

【星球知识卡片】图像风格化与翻译都有哪些核心技术,如何对其长期深入学习..._编程语言_11


【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月08日 0

暂无评论