Facebook F8讲到的3D照片是怎么一回事? - 今日头条

Facebook F8讲到的3D照片是怎么一回事?

来源:搜狐科技 2018-06-08 19:16:18

今年5月份Facebook F8大会上,公布了一项3D照片的新功能,并有一段Demo展示,不知大家是否记得。近日,Facebook计算摄影团队公布了该功能相关论文,今天我们来看看它是怎么实现的。

根据青亭网之前的报道,Facebook 3D照片可直接嵌入新闻流中,就像其它的传统图片一样,而3D照片则可以通过左右倾斜手机实现3D视角的变化,这种格式的照片适合拍摄人物、动物、风景、全景等内容。

从Demo来看,这种3D照片“看上去”包含一定的深度信息,并且在左右晃动时有着沉浸式的体验,感觉像是一个小范围的6DoF短片。

3D照片和我们常见的3D控件并不完全一样,3D控件可以实现360度各个角度的观看,而这种3D照片仅能实现单个角度以微小幅度查看周围的场景。

据青亭网了解,3D照片是由位于西雅图的Facebook计算摄影部门的科学家Johannes Kopf领导完成的,本次公布的论文是由Kopf和伦敦大学学院的Peter Hedman合作完成的,他们还将于8月份举行的SIGGRAPH(美国计算机图形学和交互技术爱好者相关会议)上进行展示。

Kopf指出:“有趣的是,3D照片这项成果的研究初衷并不是用来提升和完善当前2D照片的不足,而是从如何让VR内容创作变得更简单的角度出发。”之所以做这个工具,那是因为Facebook上普通的网友并没有构建3D模型或创建VR内容的工具和能力。

其中典型的例子是,360度全景图片,虽然其可在VR中有很好的体验,因为其可以看到各个角度图像,但是它还不具备变革性。为此,Kopf决定为照片添加深度信息。

我们了解到的第一版本,用户可以通过移动相机来完成,然后通过仔细分析视差以及手机的动作,再以3D形式的进行场景重建。

与此同时,通过单个相机拍摄多张照片来推断深度信息是需要CPU计算的过程,尽管这种方式能完成该任务,但由于时间较长,因此依旧比较落后。而且,当今主流手机几乎都具备了双摄像头,那么接下来他们就通过双摄手机来完成3D照片的拍摄。

我们知道,通过两台相机像个一段距离同时拍摄,无论拍摄对象处于精致还是运动状态,都可以捕捉到视差。得益于双射手机中2个摄像头距离非常小,因此这种深度数据的噪音也比较小,只需处理少量数据即可进行分析,也进一步降低了对硬件的高性能处理需求。

它的工作原理是,通过手机双摄像头分别拍摄一张照片,并且通过手机即可计算出图像中的深度信息,对图像中所有帧进行距离计算并重新编码,结果看如下图。

a,iPhone 7+iOS算法计算的深度图像;b,单张图像急+CNN生成的深度地图;c,结合动态(陀螺仪)数据的深度图像

据悉,苹果、三星、华为、谷歌几家的手机中都有自己的方法来实现这种拍摄方式,尽管目前手机厂商往往将其应用于实现拍照背景虚化。

但随之而来的问题是,用这种方法生成的深度图像并不具备足够的参考价值,主要体现在多张深度图像信息的颜色代表的比例并不相同,例如2张图片中都是红色的区域,理论上应该距离等同,但实际上却有较大的距离,因此拼接起来就非常痛苦。

在这套系统中,用户通过移动手机来拍摄多张图片,系统每秒会拍摄一张图像(实际上是2张照片和1张深度图),然后再进行合成。

然后开发人员通过这套算法中加入了运动检测功能(获取陀螺仪数据),这些数据将联合用于深度图像拼接和形状调整,并使其良好对齐的空间变化贴图。

这不仅可以创建经多次曝光的平滑和相对准确的深度图,而且速度相对很快,大约1秒即可生成,这就是他们将该功能称为“即时3D摄影”的原因了。

接下来将多张照片拼接在一起,这也是全景图片常见的处理方式,通过新的和改进的深度图还可以加快处理速度,降低处理难度。

因为每张图片包含的深度信息不同,因此将这些数据整合器来非常困难。例如左侧和中间的图片中,往往会丢失一些图像信息或者深度数据不正确等。而右边则是Facebook的方法。

接下来将深度图像转化为3D网格,然后检查网格是否有明显的边缘,例如前景中的栏杆是否遮挡了背景中的物体。之后沿着边缘将不同“距离段”间的物体分隔开来,让它们处于不同的浮层,并随着视角变化而移动。

虽然这种方法能够有效的创建带有3D效果的图像,但是可能会问,如果是拍着人脸呢,这种没有明显分层的对象该怎么处理呢?

为了解决这一问题,该团队采用了卷积神经网络图像进行最后一步处理。这个过程有点像内容感知填充浮层,用计算机模拟对缺失的浮层进行补充,例如这附近是头发丝,那么计算机就会将这一特性延续,也包括颜色、形状等都会分析延续。由此一来,通过计算机算法的模拟填充,就可以在人脸等特殊场景下实现类似的3D环绕效果。

最终,用这种方法即可快速拍摄一个具有环绕效果的3D照片,它即可以在VR中观看,又可以直接在网页中浏览。

综合来看,Facebook的这套方法在实际体验中并不需要下载插件或学习新的操作方法,任何人都能快速拍摄3D照片,而且效果也还算理想,尤其是在手机新闻流中浏览,其会伴随着手机的转动而呈现立体版的效果。

据了解,该功能将于今年夏天推出。但是,本文中介绍的3D照片拍摄将局限于双摄手机,这也是目前为数不多的限制,好处是任何人(任何设备)都可以查看3D照片。

同时,该论文也讲到了一个利用卷积神经网络通过单摄像头手机拍摄3D照片的可能性,但不如双摄像头手机效果好。如果对本论文感兴趣,可在自行了解。

本文参考,TechCrunch,论文地址:http://visual.cs.ucl.ac.uk/pubs/instant3d/

点击查看原文

相关链接