辉达生成式人工智慧研究，将文字秒转换成 3D 形状

辉达 (NVIDIA) 表示，其下的研究人员在最新的文字转 3D 生成式人工智慧模型中注入了双倍的加速力量。辉达将该模型称为 LATTE3D，其就像一台虚拟的 3D 列印机，LATTE3D 能在一秒内将文字提示转换为物体和动物的 3D 表示形式。由于採用了广泛使用于标準渲染应用程式的格式，生成的形状可以轻鬆地在虚拟环境中使用，例如开发电玩游戏、广告活动、设计项目，或机器人的虚拟训练场域等。

辉达 AI 研究副总裁 Sanja Fidler 所属，位于多伦多的 AI 实验室团队开发了 LATTE3D。Sanja Fidler 表示，一年前，AI 模型生成这种质量的 3D 视觉效果需要一个小时，而目前的最新技术只需约 10 到 12 秒。我们现在能以数量级更快的速度产生结果，使各产业的创作者能够实现近乎即时的文字到 3D 生成。而这项进步代表着当在单个 GPU 上运行推论时，像 NVIDIA RTX A6000 这样的 GPU，LATTE3D 能够几乎立即生成 3D 形状。

辉达指出，创作者无需从头开始设计或在 3D 资源库内进行搜寻，而是可以使用 LATTE3D 在想法突然出现时，立即产生详细的物件。另外，该模型基于每个文字提示生成几种不同的 3D 形状选项，供创作者选择。选定的物体可以在几分钟内进行最佳化，达到更高的品质。然后，使用者可以将形状汇出到图形软体应用程式或平台，如 NVIDIA Omniverse，该平台支持基于通用场景描述 （OpenUSD） 的 3D 工作流程和应用程式。

另外，虽然研究人员在动物和日常物体这两个特定资料集上训练 LATTE3D。但是，开发人员可以使用相同的模型架构在其他资料类型上训练 AI。例如，如果在 3D 植物资料集上进行训练，LATTE3D 的一个版本可以帮助景观设计师在与客户进行脑力激荡时使用树木、开花灌木和多肉植物快速填充花园渲染图。如果在家庭物品资料集上进行训练，该模型可以产生填充家庭 3D 模拟的物品，开发人员可以使用这些物品来训练个人助理机器人，然后再于现实世界中进行测试和部署。

目前，LATTE3D 使用 NVIDIA A100 Tensor 核心 GPU 进行训练。除了 3D 形状外，该模型还接受了使用 ChatGPT 生成的各种文字提示的训练，以提高模型处理使用者可能想出描述特定 3D 物件的各种短语的能力，例如，理解具有各种犬类物种的提示都应该产生像狗一样的形状。

(首图来源：辉达提供)