Stable Zero123震撼发布:单图生成高质量3D模型
  BfeTe3rB0Jc5 2023年12月23日 47 0

模型简介

12月13日,Stability.ai在开源领域引起了巨大震动,其最新作品Stable Zero123成为了焦点。这款基于Zero123模型的升级版本,主要通过改进的渲染数据集和分数蒸馏方法,大幅提升了3D模型的生成效果和训练效率。值得一提的是,Stable Zero123可以与Stability.ai的高精准图片模型SDXL相结合使用,实现3D模型的扩展。

Stable Zero123震撼发布:单图生成高质量3D模型_建模

核心技术

Stable Zero123的核心在于其创新的渲染方法和优化的模型结构。它不仅能够从单张图片生成高质量的3D模型,而且在训练效率上比原Zero123模型提高了40倍。这一突破源自于对预训练大模型的深入挖掘和创新应用。

Stable Zero123震撼发布:单图生成高质量3D模型_3D_02

视角控制

Zero123利用合成数据集对预训练的Stable Diffusion模型进行微调,实现对相机视角变换的控制。这一技术使得从单张图像到3D模型的转换更加自然和准确。

基于视角的扩散

此技术结合了图像的CLIP嵌入和视角变换,引导模型在去噪过程中更好地保持目标物体的识别度和细节。

Stable Zero123震撼发布:单图生成高质量3D模型_数据集_03

3D模型重建

利用SJC优化的体素辐射场表示,结合基于视角的扩散模型,使得Stable Diffusion模型输出的2D纹理和形状能够更好地应用于3D建模。

Stable Zero123震撼发布:单图生成高质量3D模型_数据集_04

数据集和训练

Stable Zero123的训练基于超过1000万个3D模型数据集Objaverse-XL,这个高质量、精准的数据集是模型高效训练的关键。Stable Zero123在单节点8块A100 80GBs GPU上进行训练,展现了其出色的计算效率。

应用前景

Stable Zero123的推出不仅为研究者提供了强大的工具,也为商业应用开启了新的可能性。未来,这款模型将在游戏开发、电影制作、虚拟现实等领域发挥重要作用。

结论

Stable Zero123代表了3D建模领域的一个重大进步,它不仅提升了生成效率,还大幅提升了模型的质量。这款开源模型的推出,预示着3D建模技术进入了一个全新的时代。

模型下载

huggingface模型下载

https://huggingface.co/stabilityai/stable-zero123

AI快站模型免费加速下载

https://aifasthub.com/models/stabilityai/stable-zero123

【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年12月23日 0

暂无评论

推荐阅读
BfeTe3rB0Jc5