Nvidia研究人员提出用2D图像生成3D对象的渲染框架的方法

摘要:

外媒报道称,计算机很擅长计算 3D 模型,并将之放在 2D 屏幕上作展示。但若要将 2D 图像逆推成 3D 模型,计算机就有些力不从心了。好消息是,在机器学习技术的加持下,英伟达研究人员已经提出了一种类似的渲染框架。其通过 AI 来获取 2D 信息,并将之准确地转换为 3D 对象 —— 这套系统被称作 DIB-R 。

访问购买页面:

京东NVIDIA系列商品汇总

2019-12-09-image-11.jpg

(题图 via TechSpot

DIB-R 的全称是“基于可微分插值计算的渲染器”,底层由 PyTorch 机器学习框架构建。在本周于温哥华举办的年度神经信息处理系统会议上,英伟达研究团队介绍了他们的最新进展。

该框架的工作原理,几乎是与 GPU 的日常工作反过来干。它需要分析 2D 图像,然后形成一个高保真的 3D 对象,包括形状、纹理、颜色和照明。

编解码器的体系结构,会从多变球形开始,并使用 2D 图像中给定的信息,对其进行变形处理。值得一提的是,该流程仅需 1 / 10 秒。

若使用单个英伟达 V100 GPU 进行训练,需要对神经网络展开为期 2 天的训练。若使用其它 GPU 进行训练,更需要耗费数周的时间。

2019-12-09-image.png

在对其投喂了包含鸟类图片的多个数据集之后,DIB-R 能够在给出单个图像时,准确地创建 3D 模型。

不过论文合著者 Jun Gao 表示,该系统还可将任何 2D 图像渲染为 3D 模型:“实际上,这是有史以来的第一次,您几乎可以拍摄任何 2D 图像,并预测相关的 3D 属性”。

研究人员认为,该系统可用于自主式机器人的深度感知应用,从而增强其在现实环境中工作时的安全性和准确性。通过这样的三维化处理,机器人能够更好地导航、以及操纵其需要处理的对象。

据悉,英伟达已将 DIB-R 添加到其 3D 深度学习的 PyTorch GitHub 库中(Kaolin),以帮助研究人员加速 3D 深度学习实验。

相关文章:

NeurIPS 2019:英伟达展示基于AI的自动编舞软件

活动入口:

阿里云上线企业应用中心 一站式解决企业刚需

京喜首个年货节开启 “超级百亿补贴”红包在此领取

查看评论
created by ceallan