Imagic 论文概览

论文链接：https://arxiv.org/pdf/2210.09276.pdf

将大幅度的语义编辑应用于真实照片一直是图像处理中一个有趣的任务。近年来，由于基于深度学习的系统取得了长足的进步，该任务已经引起了研究社区相当大的兴趣。

用简单的自然语言文本 prompt 来描述我们想要的编辑（比如让一只狗坐下）与人类之间的交流方式高度一致。因此，研究者们开发了很多基于文本的图像编辑方法，而且这些方法效果也都不错。

然而，目前的主流方法都或多或少地存在一些问题，比如：

1、仅限于一组特定的编辑，如在图像上作画、添加对象或迁移风格 [6, 28]；

2、只能对特定领域的图像或合成的图像进行操作 [16, 36]；

3、除了输入图像外，它们还需要辅助输入，例如指示所需编辑位置的图像 mask、同一主题的多个图像或描述原始图像的文本 [6, 13, 40, 44]。

本文提出了一种语义图像编辑方法「Imagic」以缓解上述问题。只需给定一个待编辑的输入图像和一个描述目标编辑的单一文本 prompt，该方法就可以对真实的高分辨率图像进行复杂的非刚性编辑。所产生的图像输出能够与目标文本很好地对齐，同时保留了原始图像的整体背景、结构和组成。

如图 1 所示，Imagic 可以让两只鹦鹉接吻或让一个人竖起大拇指。它提供的基于文本的语义编辑首次将如此复杂的操作应用于单个真实的高分辨率图像，包括编辑多个对象。除了这些复杂的变化之外，Imagic 还可以进行各种各样的编辑，包括风格变化、颜色变化和对象添加。

为了实现这一壮举，研究者利用了最近成功的文本到图像的扩散模型。扩散模型是强大的生成模型，能够进行高质量的图像合成。当以自然语言文本 prompt 为条件时，它能够生成与要求的文本相一致的图像。在这项工作中，研究者将它们用于编辑真实的图像而不是合成新的图像。

如图 3 所示，Imagic 完成上述任务只需要三步走：首先优化一个文本嵌入，使其产生与输入图像相似的图像。然后，对预训练的生成扩散模型进行微调，以优化嵌入为条件，更好地重建输入图像。最后，在目标文本嵌入和优化后的嵌入之间进行线性插值，从而得到一个结合了输入图像和目标文本的表征。然后，这个表征被传递给带有微调模型的生成扩散过程，输出最终编辑的图像。

为了证明 Imagic 的实力，研究者进行了几个实验，将该方法应用于不同领域的众多图像，并在所有的实验中都产生了令人印象深刻的结果。Imagic 输出的高质量图像与输入的图像高度相似，并与所要求的目标文本保持一致。这些结果展示了 Imagic 的通用性、多功能性和质量。研究者还进行了一项消融研究，强调了本文所提出的方法中每个组件的效果。与最近的一系列方法相比，Imagic 表现出明显更好的编辑质量和对原始图像的忠实度，特别是在承担高度复杂的非刚性编辑任务时。

方法细节

给定一个输入图像 x 和一个目标文本，本文旨在以满足给定文本的方式编辑图像，同时还能保留图像 x 的大量细节。为了实现这一目标，本文利用扩散模型的文本嵌入层来执行语义操作，这种方式有点类似于基于 GAN 的方法。研究人员从寻找有意义的表示开始，然后经过生成过程，生成与输入图像相似的图像。之后再对生成模型进行优化，以更好地重建输入图像，最后一步是对潜在表示进行处理，得到编辑结果。

如上图 3 所示，本文的方法由三个阶段构成：（1）优化文本嵌入以在目标文本嵌入附近找到与给定图像最匹配的文本嵌入；（2）微调扩散模型以更好地匹配给定图像；（3）在优化后的嵌入和目标文本嵌入之间进行线性插值，以找到一个既能达到图像保真度又能达到目标文本对齐的点。

更具体的细节如下：

文本嵌入优化

首先目标文本被输入到文本编码器，该编码器输出相应的文本嵌入