▲ 图片来自:Google
根据 Google 的介绍,修复一张「马赛克」照片由两个过程组成——「破坏」与「*」。
首先,为了尽可能挖掘「马赛克」像素方块的图形细节,Google 的研究人员会先用高斯噪声算法处理试验样本,得到一张完全由噪点组成的「雪花图」,看起来有点像以前模拟电视无信号的画面。
▲ 第三行是 Google 的修复算法,第四行是原图参考 图片来自:Google
接着,研究人员再利用神经网络算法,逆转高斯噪声的破坏过程,通过反向复原的过程合成新的图像数据,将从纯噪声图尽可能地降噪,得到一张清晰的图片。
▲ 图片来自:Google
图片修复的原理并不复杂,但是其中涉及到的算法并不简单,为了修复出「一比一还原」的高清大图,Google 的研究人员提出了超分辨率算法 SR3 和级联扩散模型 CDM,通过大规模的图片比对学习提高还原的准确性。
值得一提的是,虽然我们一直用「马赛克」来称呼低分辨率的大像素低清图片,但这和真正经过打码的照片有着本质上的差异。
▲ 图片来自:Google
Google 的还原算法之所以能够将低清图片变清晰,本质上是根据图片本身所包含的正确图像信息,通过庞大的数据库里的无数图像进行比对、匹配,最后得到模拟出的近似像素填充。
而当照片被涂抹上马赛克时,图片所包含的图像信息就会发生变化。