这里和大家分享视频修复增强算法的一个新亮点,即多种融合增强(All in One)。以低分辨率视频生成高分辨率HDR视频典型应用为例,分享为什么做融合增强的原因。传统做法第一步是先超分辨率SR生成4K,再用SDR转HDR算法变成HDR,正常情况下是两个算子串起来做。但这么做的问题是任何一个图像处理算法做完后,无论如何利用深度学习使新图质量更好,但原始信息会丢失是不可避免的。如果丢失了一些原始信息,在串联第二个算子过程中会缺少很多信息。比如第一步在做超分辨率时不可避免有细节丢失,第二步做HDR,即使SDR转HDR算法再优异也不可能还原。所以这就是融合的意义,融合会比两个封闭的串行算法要好。
分享下结果,与业界SOTA(JSInet)相比,快手融合增强方法PSNR提升了0.64dB左右,参数减少约70%,速度快约3倍,是做的比较快且好的网络。
上图是效果截图,以前的SOTA结果存在有显著bad case,而我们超分辨率后bad case没有了,而且颜色和纹理都变得很清晰,体现出4K HDR该有的效果。
典型案例:去噪 超分 色彩(All in One)
上图是一个真实案例,这是一个老港片。我们用融合算法对影片进行处理,原片中有很强的噪声,在处理后噪声少了很多,面部和背景都变得更加清晰,色彩也有所提升。
2.6 快手如何利用上述增强服务