GTC 2021的最后一天,Nvidia展示了其最新的AI开发成果。利用Nvidia Omniverse平台和一个名为GANverse3D的新工具,用户可以使用训练有素的AI从单个2D图像创建包含网格和纹理的3D模型。为了展示这项技术,Nvidia从80年代的经典Knight Rider中重新创建了KITT –一种由AI驱动的汽车。
GANverse3D是一款可获取平面2D图像并将其转换为可在虚拟环境中可视化和控制的逼真的3D模型的应用程序。例如,汽车的单张照片可以转换成3D模型,该模型可以在具有工作功能的虚拟场景中行驶,包括前灯,尾灯和信号灯。
该AI在超过50,000张图像的数据集上进行了训练,这些图像展示了多个视点,从而使AI能够识别汽车的不同部分。Nvidia还对鸟类和马匹的AI进行了培训,但是在这一点上,汽车仍然表现最佳。例如,如果您尝试向工具喂狗,人或树的图像,则由于几何复杂性,它将无法以相同的精确度渲染3D模型。
展望未来,该工具可以改善许多行业的工作流程,包括建筑师和游戏开发人员。尽管场景的“主要主题”是手工建模的,但艺术家和开发人员可以通过使用AI生成环境和背景内容而无需手工或购买现成的资产来节省时间。
该技术可以适应其他数据集以产生不同的结果,而英伟达则以鸟和马为例。对于真正对所有这些背后的科学感兴趣的人,您可以查看完整的ICLR文件,在与KitGuru一起参加的Nvidia的简报中,我们还被告知该项目的代码可能会发布,以便其他开发人员可以协作和迭代。关于技术和进一步的AI研究。
标签: Nvidia