作者 | ZeR0

编辑 | 漠影

智东西3月24日报道,在本周举行的英伟达GTC大会期间,英伟达(NVIDIA)首席科学家兼研究高级副总裁Bill Dally、英伟达AI研究副总裁Sanja Fidler与智东西等全球媒体进行交流,分享了NVIDIA Research的进展,并现场演示英伟达最新文生3D模型LATTE3D。

LATTE3D模型就像一台虚拟3D打印机。只需在文本框输入文字描述,在单张消费级GPU上运行,不到1秒时间,该模型就能按要求生成对应的物体和动物的几个不同的3D形状,供创建者选择,再在几分钟内优化成更高的质量。而3D形状可以随意放大、旋转,360度无死角。

“一年前,AI模型需要1小时才能生成这种质量的3D视觉效果,而目前的技术水平大约是10到12秒。”Sanja Fidler说。

现场演示了让LATTE3D生成小蛋糕、猪猪气球、踩滑板且戴着高帽子的针织鸭、踩着滑雪板并戴着聚会帽的小兔子。全程都很丝滑迅速,接近实时生成。生成的3D素材能直接导入图形软件应用程序或平台中,比如Omniverse平台。

对于开发视频游戏、广告活动、设计项目或虚拟机器人训练场地等应用来说,这都是个看起来很有吸引力的3D素材创建工具。

Bill Dally说,NVIDIA Research为未来的成功播下种子,既有登月项目,又有很多研究小组,研究方向包括GPU存储系统、编程系统、网络、架构、超大规模集成电路(VLSI)、图形、感知与学习等。这些研究塑造了英伟达的与众不同。

据Bill Dally分享,NVIDIA Research团队有三个原则:1、希望以最少的努力获得最大的回报;2、提高影响力,而不是出版物记录;3、希望与产品保持紧密的联系。

NVIDIA Research由全球数百名科学家和工程师组成,专注于AI、计算机图形学、计算机视觉、自动驾驶汽车和机器人等主题。很多源自研究院的技术,如OptiX、CuDNN、光线追踪算法和硬件、Volta SM、Flip-Flops、NVSwitch、DLSS等,都成功转化成商业用途。

其研究团队分布在世界各地。面向3D生成式AI模型的新模型LATTE3D便是由英伟达位于加拿大多伦多的AI实验室团队研发的。该团队还研发过GANverse3D、GET3D、Magic3D、ASE、GameGAN、VideoLDM等模型。

LATTE3D使用英伟达A100 GPU进行训练,模型先生成神经3D形状,然后用图像扩散模型作为老师来对渲染图像进行反馈。除了3D形状外,该模型还接受了使用ChatGPT生成的各种文本提示词的训练,以提高模型处理用户描述特定3D对象的各种短语的能力。比如,它能理解以各种犬类为特征的提示应该都生成类似狗的形状。

当研究人员在特定的动物和日常用品数据集上训练LATTE3D时,开发人员可使用相同的模型架构在其他数据类型上训练AI。

例如,如果在3D植物数据集上进行训练,LATTE3D可帮助景观设计师在与客户进行头脑风暴时快速填充树木,开花灌木和多肉植物的花园渲染。如果对家用物品进行训练,该模型可以生成物品来填充家庭场景的3D模拟,开发人员可以用它来训练个人助理机器人,然后再在现实世界中进行测试和部署。

友情提示

本站部分转载文章,皆来自互联网,仅供参考及分享,并不用于任何商业用途;版权归原作者所有,如涉及作品内容、版权和其他问题,请与本网联系,我们将在第一时间删除内容!

联系邮箱:1042463605@qq.com