针对快手平台的每日千万级海量视频,增强修复算法是如何利用的?接下来主要介绍下基本原理和需要注意策略basic idea。
首先是算子的触发逻辑,一共有三种。第一种触发逻辑是根据技术特征、模糊程度、Blocky程度等,它会有分值,然后由分值来决定触发逻辑;第二是根据热度视频触发,对平台上全部视频应用是没有意义的,需要基于Fan Count还是View Count 这些细节去设计;第三是事件触发针对具体事件case。所以触发策略是和具体的业务形态有关系,然后根据业务去做具体的触发方式。
其次要介绍的是设计处理优先级。增强触发时会有不同的优先级,因为视频上传到平台后,会有波峰波谷。但是GPU等计算资源一定是固定的,当一定时间内触发量过大,这时处理不完怎么办?肯定不能随机丢掉,而是做优先级方式以保证重要视频被处理。
最后就是多个算子在调用过程中会存在交叠处理的情况。比如在做算法分析时发现视频的分辨率又小、块效应又重,可能会认为既要做DeArt又要做超分辨率,这时算子在交叠的时候该如何解决?我们的解决方案有两种,第一种处理算子交叠的方案是在算子设计的过程中,其实是有一定抗交叠能力的,举个例子,在超分辨率过程中,对于一些简单的伪影噪声等视频也可以用超分辩率,调用不同的超分辩率算子。第二种方案,在解决交叠态视频的时候,我们收集了很多离线视频进行分析对比,我们测量出什么样的分值该做什么样的视频收益最大,然后在上线策略上完成。
3、质臻影音的成功落地方案
最后介绍下,快手智能增强修复方案整合产品「质臻影音」的成功落地方案。2022年1月,快手质臻影音正式上线,包含高分辨率、高帧率、HDR、3D环绕声场这四大效果,能够排列组合刚刚提到的算子,定制化对视频进行提升,包含如下两方面:低质变优质,以及优质变极致。例如对老电影、破损影片进行去划痕、降噪、去模糊等“点对点”修复,主要针对低质量视频;对高质量视频,可以提升到极致效果,使用去模糊、4K超分辨率技术、HDR等达到极致的体验效果。
此次分享的相关技术后续将不仅在快手平台得到更广泛的应用,也将在快手toB品牌StreamLake业务中。欢迎大家来咨询StreamLake智能视频增强修复算法,以及直播、编解码、音频处理等多种业务。
以上就是我本次分享的全部内容,谢谢大家!