上图以SR-LQ为例,可以看到左图的分辨率低同时有很强的块效应。我们做超分辨率设计的核心是超分辩率能够做到抗锯齿,以及能够对块效应做到一定程度修复,避免传统超分辨率将分辨率变高的同时将块效应也变大的问题。
上图是以SR-HQ算法为例。这主要是针对影视剧,即视频质量不太差的情况下做分辨率的提升。优化重点在草地的纹理边缘,使之更加清楚明显。与上一个例子抗噪声、抗Blocky情况相比,这个需要细节越清晰越好。这里SR-HQ主要用在视频本身就很清晰的条件下。因此,对于超分辨率根据视频内容情况可以有很多不同的做法,从而达到最佳自适应效果。
2.2 清晰度增强算法:视频去模糊算法视频模糊是视频低质的一种主要来源。模糊的原因有很多种,第一种是拍摄时出现失焦、抖动等情况;第二种是在编码压缩和转码或分发视频时的上下采样模糊,例如前面提到的多次编辑;第三种是画面主体运动模糊。
为应对以上模糊情况,我们首先考虑如何构建数据集。为此,我们在快手平台上获取了大量视频,并对低质成因进行分析并模拟大盘数据情况,根据退化比例、类型来设计数据集模拟真实,并在数据集上增加了噪声、块效应等低质因素来符合真实的业务场景。另外,合理的损失函数也很关键,在去模糊时,我们在loss中兼顾不同主客观损失函数。此外,我们还根据基础特征视频评价对算法增强力度进行自适应处理,并对处理完的视频进行质量评价回溯,从而进一步完善算法效果。以下图为例,我们为原视频去模糊,可以看到人脸和报纸上字的清晰度得到了明显提升,细节纹理更加丰富,色偏控制也很出色,画面清晰度显著提高。
此外快手清晰度增强算法还具备低质视频针对性算法版本,这个算法版本专门针对性算子进行处理,能够在去模糊处理同时具备抗低质效果。对于噪声/块效应进行去除修复并增强清晰度纹理,这样有效避免增强清晰度纹理的同时放大低质(噪声/块效应),从而更好地服务大量实际应用场景,这种情况在UGC视频中较为常见。