这项研究利用到的技术叫做Landmark Assisted CycleGAN，它利用面部标志特征来定义一致性损失，指导在CycleGAN中训练局部鉴别器。

CycleGAN本质上是两个镜像对称的GAN，构成了一个环形网络。两个GAN共享两个生成器，并各自带一个判别器，即共有两个判别器和两个生成器。一个单向GAN两个loss，两个即共四个loss。

可以实现无配对的两个图片集的训练是CycleGAN与Pixel2Pixel相比的一个典型优点。但是我们仍然需要通过训练创建这个映射来确保输入图像和生成图像间存在有意义的关联，即输入输出共享一些特征。

整体结构如下：

整体来说，这个转换过程分为3步：

首先，生成器先根据CycleGAN生成一张粗糙的卡通人脸。

随后，模型根据第一步生成的图像，生成一个预训练回归量（regressor），来预测面部landmark，对面部的关键点进行标记。

最后，通过局部和全局两种鉴别器，研究人员细化在卡通图和对应真实图像中的人脸特征。在这个阶段，强调了landmark的一致性，因此最后的生成生成结果逼真且有辨识度。

虽然，抖音这次推出的漫画变身特效主要技术也还是GAN，但与以往相比也有差异之处。此前，变漫画功能基本都基于人脸表情跟踪，学界和工业界都没有千人千面的实时漫画生成方法。

这次抖音推出的漫画特效是在视频中实时实现的，这项技术在全球也是首次落地。在视频中，可实现人脸和头发变漫画的效果，配合背景风格迁移技术，完成全屏漫画的实时生成，并且通过“手动滑杆”道具，能与真实视频随意切换。