让最佳视觉感受更广，更普惠。
阿里云窄带高清本质上是一种转码质量优化技术，是一套以“人眼主观感受最优”为基准的视频编码技术。研究的是在带宽受限的情况下，如何追求最佳的视觉感受，即人眼感受的主观质量最优。
01
“视频高清化”大趋势
视频是信息呈现和传播的主要载体。从早期的625线模拟电视信号，到后来的VCD、DVD、蓝光、超大尺寸电视等，用户对高品质画面无止境的追求推动着视频技术的不断进步和产业的蓬勃发展。据预测，未来个人消费者网络流量的80%以上和行业应用流量的70%以上都将是视频数据。
当下，随着视频拍摄和视频播放显示设备的软、硬件配置和性能不断升级，消费者对于视频画质的要求越来越高：从360p到720p再到1080p，现在正全面跃升至4K，并且8K的脚步正在逼近。
在视频娱乐场景中，视频画质是影响用户互动体验的关键因素，高清视频往往比低清视频包含更多的细节和信息，给用户的视频互动带来更好的体验，这也促使了用户对视频画质的要求越来越高。
视频消费者一旦适应了高清视频所带来和以往不一样的感受和体验，例如：高清视频可以将光线、质感、人物皮肤、纹理等细节还原得更为真实，对于“渣”画质的容忍度就会越来越低。
作为创新的排头兵，互联网视频网站正拿出各种应对手段满足消费者的需求，提升画质俨然成为视频网站争取IP之外的新战场。
当下，国内外主流的视频网站、APP已经全面普及1080p，1080p已经成为一种标配。一些视频平台，例如爱优腾、B站、YouTube，部分节目内容也提供了4K版本。
02
助力“最后一公里”的画质优化
视频从采集到分发再到终端消费者进行播放观看，中间要经历复杂的视频处理和传输链路。完整的处理和传输链路通常包括以下几个环节：
l 采集/编码：内容提供方采集的视频首先会被编码为特定的格式；
l 编辑/剪辑/重编码：对原始素材进行多样化的编辑/剪辑操作，进行二次创作，然后重编码输出；有的业务场景可能会包含多次剪辑处理；剪辑/编码完成的视频会被上传至服务端；
l 云服务端转码：视频在上传到云服务器后，为适应不同的网络环境和播放终端通常会在云端进行转码（本文所讨论的窄带高清转码即发生在该环节，以更高的压缩比呈现更高质量的视频）；
l 云发布：内容分发网络（CDN）；
l 播放端：视频经由内容分发网络（CDN）加速分发，通过解码最终在内容消费方的终端设备上实现播放；
l 多平台播放：手机，Pad，OTT，IPTV，Web；
图1 视频处理和传输链路
从视频处理角度来看，窄带高清云转码是视频内容触达终端消费者的最后一个处理环节；从客观现实上来说，是视频内容生产消费全链路的“最后一公里”。
从传输角度来看，在视频生产和消费全链路，各环节之间数据的流转有多种形式：SDI有线线缆方式、无线蜂窝移动通信、互联网以及卫星通信等。
不同数据传输方案在传输环境稳定性和带宽存在巨大的差异，因此，为了能在带宽受限的链路上进行稳定的视频传输，必然要对视频信号进行深度编码压缩，而编码压缩势必会带来不同程度的画质损伤。
举个例子：常见的视频流规格：1080p, 60 fps, YUV 4:2:0, 8-bit，raw data码率为1920*1080*1.5*8*60 = 1.49Gbps
上述提到的传输方式中，只有3G-SDI有线线缆可支撑该码流的实时传输。而视频内容触达终端消费者的方式一般是经由互联网进行分发，码率需要控制在10Mbps以下，因此意味要将原始视频压缩上百倍。
综上所述，从整个视频处理和传输链路来看，视频内容从采集到终端播放，要经历多个视频编辑、处理、重编码的操作。而每一次处理/编码操作或多或少都会对视频的画质产生影响，通常会损伤画质。
因此，当下即便是使用最新的视频采集设备（可以输出高画质的原始视频信号），终端消费者侧也不一定保证能体验到高画质，原因就在于中间处理环节的画质损耗。
窄带高清云转码作为整个视频处理链路的最后一个处理环节，其输出码流画质效果即为最终分发至终端消费者的画质效果。因此，如果在该环节使用恰当的画质增强技术，可以一定程度上弥补前序视频处理环节所产生的画质损伤，起到优化画质的作用。
03
画质增强应该优先解决什么问题？
视频画质增强技术大致可以分为三大类：
l 色彩/亮度/对比度维度增强：色彩增强（色域，位深，HDR高动态范围）、去雾、低光照/暗光增强等；
l 时域维度帧率增强：视频帧率变换/智能插帧；
l 空域维度细节复原/增强：去压缩失真、分辨率倍增、降噪/去划痕/去亮斑、去闪烁、去模糊、去抖等。
视频增强技术在产品落地层面，目前比较热门的选择是将老旧视频素材高清化，例如年代比较久远的电影、电视剧、动画片和MV/演唱会视频等。
老旧影视素材普遍存在：划痕、噪点/霉斑、闪烁、细节模糊、运动拖尾、色彩暗淡或者只有黑白等问题，可以通过去噪、去脏点/划痕/霉斑、去模糊、去闪烁、分辨率/帧率倍增以及色彩增强（黑白上色）等处理，这样可以全面提升素材的整体观感。
然而，由于每个老旧素材所面临的画质问题差异很大，且目前的技术水平对于有的画质问题还难以给出令人满意的效果，因此老旧素材高清化处理过程必须引入人工干预。
人工干预体现在两个方面：一是对老旧素材画质问题进行诊断，并配置恰当的处理模型和处理流程；二则是对模型处理结果进行人工审查，并做适当的精修和微调。
窄带高清画质增强技术落地选择原则
窄带高清云转码作为一种全自动，无人工干预的视频转码作业，所采用的视频画质增强优化技术也需要做到全自动，无需人工参与。我们认为在选择产品化方向时，所集成的视频增强技术应该满足以下几个条件：
l 视频增强技术可以实现全自动，无需人工干预：老旧素材高清化目前还需要太多的人工干预，不符合该原则；
l 相关技术具有广泛的适用范围：低光照/暗光增强和视频去抖在部分场景也有需求，但在视频转码场景，有这类画质问题的视频占比非常少；
l 持续的刚需：该技术可带来消费者可感知的画质提升，且其解决的问题在未来5-10年都会持续存在，因此可以形成持续的刚需。
解决生产链路引入的画质损失
根据上述原则，我们最终选择在窄带高清转码中集成的画质增强技术为：空间维度细节修复，解决视频生产链路产生的画质损失，即多次编码压缩导致的画质损失。
从整个视频处理和传输链路来看，我们再具体分析一下产生画质损失的环节有哪些：
1.信号源本身的画质问题
l 传输链路导致的低码率：在视频生产流程中，传输链路的带宽通常有一定的限制，为了优先保证流畅，不得不采用低码率。典型场景有：跨国境直播流；大型赛事活动现场信号远距离传输，无专线保障；以及无人机航拍实时信号。典型的码率设置例如1080p 50fps 4-6M，直播场景通常是硬件编码，输出的码流有明显的编码压缩损失；
l 内容版权/商业模式导致的低码率：由于视频版权或者商业模式问题，视频版权方给到分发渠道只有低码率信号源；
l 原始视频素材经历过多次编码压缩，已经有明显的画质损失问题。
图2 低码率信号源画质问题：有明显的编码块效应
2.编辑/剪辑及二次创作引入的画质问题
l 剪辑软件编码压缩引入的画质问题。
在UGC短视频领域，大家通常习惯使用手机剪辑APP来进行视频剪辑，剪辑APP会调用手机硬件编码来做完成渲染视频的编码输出；但手机的视频编码能力比较受限，且不同型号手机的编码压缩性能差异很大，因此很容易出现编码压缩后画质不好的情况，即便输出码率高达20M@1080p，如下图；
l 推流工具重编码压缩引入的画质问题。
在一些业务场景，例如网红博主陪你看球，演播室或者解说主播会将原始信号流通过OBS拉流到本地，叠加解说，再推流上云；OBS的重编码会再次损伤原始视频的画质。
