0°

终结扩散模型:OpenAI开源新模型代码,一步成图,1秒18张

  在 AI 画图的领域,人们一直关注的是扩散模型,例如Stable Diffusion、Midjourney、DALL-E等技术,并在其基础上构建应用。不过最近,OpenAI 提出的全新生成模型看起来要让这一领域经历一场革命。

  与高调推出ChatGPT 、GPT-4不同,这次OpenAI在上个月偷偷上传了一篇论文《Consistency Models》,也不能说是偷偷,只是这次没有媒体大张旗鼓的报道,就显得这项研究有些低调。论文内容主要是关于图像生成领域的。

  作者阵容也非常强大,一作是本科毕业于清华大学数理基础科学班、目前在 OpenAI 担任研究员的宋飏。宋飏将于2024年1月加入加州理工学院电子系和计算数学科学系担任助理教授。其他作者还包括OpenAI联合创始人、首席科学家Ilya Sutskever,OpenAI多模态和前沿研究部门的负责人Mark Chen,以及OpenAI研究科学家Prafulla Dhariwal。

  扩散模型的时代即将结束?

  前我们已经提到,OpenAI的这项研究主要是图像生成方面的,大家或多或少的都听过这项技术,例如最近热门的Midjourney和Stable Diffusion,它们大都采用扩散模型,由于其生成的图片效果惊艳,很多人都将其视为最好的工具。但扩散模型依赖于迭代生成过程,这导致此类方法采样速度缓慢,进而限制了它们在实时应用中的潜力。

  OpenAI的这项研究就是为了克服这个限制,提出了Consistency Models,这是一类新的生成模型,无需对抗训练即可快速获得高质量样本。与此同时,OpenAI还发布了Consistency Models实现以及权重。

  论文地址:

  https://arxiv.org/pdf/2303.01469.pdf

  代码地址:

  https://github.com/openai/consistency_models

  具体而言,Consistency Models支持快速one-step生成,同时仍然允许 few-step采样,以权衡计算量和样本质量。它们还支持零样本(zero-shot)数据编辑,例如图像修复、着色和超分辨率,而无需针对这些任务进行具体训练。Consistency Models可以用蒸馏预训练扩散模型的方式进行训练,也可以作为独立的生成模型进行训练。

  研究团队通过实验证明Consistency Models在one-step和few-step生成中优于现有的扩散模型蒸馏方法。例如,在one-step生成方面,Consistency Models在CIFAR-10上实现了新的SOTA FID 3.55,在ImageNet 64 x 64 上为6.20。当作为独立生成模型进行训练时,Consistency Models在 CIFAR-10、ImageNet 64 x 64和LSUN 256 x 256等标准基准上的表现也优于single-step、非对抗生成模型。

  有网友将其视为扩散模型的有力竞争者!并表示Consistency Models无需对抗性训练,这使得它们更容易训练,不容易出现模式崩溃。

  还有网友认为扩散模型的时代即将结束。

  更有网友测试了生成速度,3.5秒生成了64张分辨率256×256的图片,平均一秒生成18张。

  接下来我们看看Consistency Model零样本图像编辑能力:

  图6a展示了Consistency Model可以在测试时对灰度卧室图像进行着色,即使它从未接受过着色任务的训练,可以看出,Consistency Model的着色效果非常自然,很逼真;图6b展示了Consistency Model可以从低分辨率输入生成高分辨率图像,Consistency Model将32×32分辨率图像转成 256×256高分辨率图像,和真值图像(最右边)看起来没什么区别。图6c证明了Consistency Model可以根据人类要求生成图像(生成了有床和柜子的卧室)。

  Consistency Model图像修复功能:左边是经过掩码的图像,中间是Consistency Model修复的图像,最右边是参考图像:

  Consistency Model生成高分辨率图像:左侧为分辨率32 x 32的下采样图像、中间为Consistency Model生成的256 x 256图像,右边为分辨率为256x 256的真值图像。相比于初始图像,Consistency Model生成的图像更清晰。

0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论