潜在一致性模型(LCM):开启图像生成效率新纪元
  BfeTe3rB0Jc5 2023年11月27日 15 0

引言

在人工智能的图像生成领域,追求更高的效率和更优的图像质量是永恒的主题。最近,清华大学交叉信息科学研究院推出的LCM(Latent Consistency Models)在这两个方面都取得了显著的突破,尤其是在提升出图效率方面,实现了重要的进展。

技术特点

LCM的核心创新在于其潜在一致性架构。这一架构通过在潜空间进行图像处理,显著减少了所需处理的数据量,从而大幅提升了图像生成的速度。这种方法不仅加快了生成速度,还保持了图像的高分辨率和细节质量。

性能与评估

在性能方面,LCM展现出了卓越的效率。据实验数据显示,LCM在图像生成过程中,所需的算力比传统模型减少了约50%。这一显著的性能提升,使得LCM在处理大规模图像数据时更加高效。同时,LCM在图像质量上也有所提升,其出图效果已经大幅优于许多现有模型。

LCM 强调的是不要再一步步迭代了, 直接追求“一步到位”。LCM 是在 Consistency Models 的基础上引入了 Lantent Space (潜空间),进一步压缩需要处理的数据量,从而实现超快速的图像推理合成。只需要 2-4 步即可完成!

可以先来看看效果图:

4 步效果图

潜在一致性模型(LCM):开启图像生成效率新纪元_图像质量

2 步效果图

潜在一致性模型(LCM):开启图像生成效率新纪元_数据_02

1 步效果图

潜在一致性模型(LCM):开启图像生成效率新纪元_图像质量_03

潜在应用场景

LCM的应用场景非常广泛。在娱乐行业,LCM可以用于快速生成游戏场景和角色;在专业设计领域,它可以帮助设计师快速构思和实现创意;在教育和科研中,LCM能够辅助进行图像分析和数据可视化。

潜在一致性模型(LCM):开启图像生成效率新纪元_图像质量_04

基于Dreamshaper-V7大模型使用

目前官网只提供了Dreamshaper-V7和LCM-SDXL,2 款可以在Stable Diffusion中使用的模型,并且需要安装 LCM 插件。

  • 插件地址:https://github.com/0xbitches/sd-webui-lcm
  • 模型地址:https://huggingface.co/SimianLuo/LCM_Dreamshaper_v7
  • lcm-sdxl: https://huggingface.co/latent-consistency/lcm-sdxl


如果huggingface模型无法下载,可通过国内镜像站下载


https://aifasthub.com/models/SimianLuo/


基于LCM-LoRA 使用

可以参考https://blog.51cto.com/u_16323307/8519448

【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月27日 0

暂无评论

推荐阅读
BfeTe3rB0Jc5