vivo手机人像虚化效果展示
为了实现更好的虚化效果,手机厂商也会采用一些方法,包括所谓的“人像”模式,其中最有效的莫过于算法,通过算法去对照片进行模糊渲染,已达到更理想的视觉效果。当然,很多机器学习算法并不理想,仔细观看其模糊并不如物理大光圈效果真实,例如人像算法并不能完美的呈现出人物边缘,甚至错误识别等等。
iPhone Xs可调景深功能
甚至,苹果今年新推出的iPhone Xs主打功能之一就是先拍照后对焦,其支持先拍照,然后再通过编辑进行模糊渲染,而且速度足够快,效果理想。实际上,该功能和我们所讲的VR中的动态模糊渲染原理相似。当然,这相功能对硬件依赖也很大,凭借A12处理器强大的AI能力,该功能才得以实现,以至于iPhone X就不支持。
之所以人类喜欢带有虚化效果的图片和视频,那是因为人类的眼睛本身就具备这样的特性,这样做能够尽可能接近真实。
今天Oculus公布了一项名为“DeepFocus”的最新研究,这是一个能够提供逼真视觉效果、眼神凝视效果,以及上面提到的支持偶然和实时性的动态模糊效果。
DeepFocus动态模糊渲染演示
从过上图来看,DeepFocus呈现的视觉效果足够理想,其能够很好的把眼睛的注视点进行清晰的渲染,而其它区域则进行模糊化渲染。
DeepFocus动态模糊渲染演示
DeepFocus出自Facebook Reality Labs(以下简称:FRL),其研发总监Douglas Lanman表示:这套系统是提供未来全天候使用VR的基础,因为这是基于人类眼睛特性而言的,即便长时间观看VR也会比较自然。
据悉,这套动态模糊渲染的开发过程并不顺利,起初就是因为不够自然,尤其是在VR游戏中,这些都是经过游戏引擎的,另外就是偶然性的模糊效果并不理想,速度不够快,因此我们并不确定眼睛下一秒将会盯向何方。
DeepFocus深度信息效果演示
为了解决这个问题,FRL决定通过给这套系统融入AI技术。据悉其中负责参与深度学习开发的研究员名为雷晓(音译,Lei Xiao),应该是一名华裔,其博士阶段研究包括了计算机摄影的机器学习技术。
最终,经过众多开发人员的努力,打造出的DeepFocus具备效果逼真的模糊效果,并且适用于Oculus商店所有游戏,无需应用开发者做任何修改。据悉,未来DeepFocus还支持多焦点和光场图像合成的能力。
当然,AI计算需要强大的算力,而当前DeepFocus系统演示是在一台4块GPU的计算机上运行,未来就是着手让这套系统变得更易用,例如用一台常规的游戏PC就能驱动,已降低实现难度。
显然,这套动态模糊渲染让我们看到了未来VR该有的样子,被看作是下一代VR头显的必备技术。
虽然本次的演示基于DeepFocus和Hals Dome头显,但是基于机器学习的动态模糊渲染技术和硬件无关。重要的是,Facebook已经开源了DeepFocus源代码和训练数据,所以一起感谢Facebook吧。
乖乖,人眼会专注在画面的某个点上,而不是整个画面,这样那个点之外的画面都是模糊的,需要的时候,再重新聚焦,信息在这里就是少即是多,信息多了,大脑要烧糊了