新软件工具可让用户修复 AI 生成的 3D 模型,并按自己的需求制造出来

很多软件工程师信奉一条原则——"所见即所得"，即你正在编辑的内容，应该和最终成品看起来一致。但当你用生成式 AI 系统来 3D 打印一个杯子时，得到的很可能是一个根本装不了咖啡的"杯子"。为什么会这样？

问题在于：AI 模型知道一个物体"应该长什么样"，却不一定知道它"怎么用"，于是会生成不实用的设计，破坏物品的本来用途。即便你想修正这些错误，这类模型通常也很难编辑，尤其对没有 3D 设计经验的用户来说更是如此。

什么是 InstructMesh？

一种名为 InstructMesh 的新方法，让设计和打印家居用品、配件以及机器人变得更简单，而且这些物品能在现实世界中真正可用。该设计软件由 MIT 计算机科学与人工智能实验室（CSAIL）、Google 和东北大学的研究人员开发。比如，它可以按提示生成一副眼镜的 3D 设计，然后用户高亮想改进的部分，在 3D 打印前继续精修。

它是一个由 AI 驱动的界面，既能理解这些设计"应该长什么样"，也能理解专家和新手分别想做哪些修改，从而帮助人们造出自己真正想要的东西。该研究将在 11 月的 ACM 用户界面软件与技术研讨会（UIST）上展示，论文也已发布在 arXiv 预印本服务器上。

创意十足的实际案例

CSAIL 研究人员用 InstructMesh 给普通物品加入了个性化、创意化的元素：

• 生成了一只"被龙包裹"的杯子，龙尾就是杯把
• 做了一个像贝壳的闪亮蓝色哨子
• 做了一副镜片上方展开蝴蝶翅膀的眼镜
• 做了一个章鱼状的分配器，液体从每根触手流出，可同时倒进多个杯子
  

  图片来源：arXiv（2026年）。DOI： 10.48550/arxiv.2608.28534

InstructMesh 通过选择性编辑实现与制造相关的生成 3D 模型的细化。

a） 用户提供初始提示。

b） 系统生成三维模型，但可能存在制造相关的缺陷（例如密封盖子）。

c） 用户选择有问题的区域并提供描述性编辑提示。

d） InstructMesh 在潜在空间中应用编辑操作，移除盖板并保留其他区域并重新生成模型。

e） 最终模型被制成功能性杯子。

为什么能做到？

InstructMesh 把微软的 TRELLIS 系统（可根据文本和图像提示生成 3D 模型）与大型语言模型 GPT-4 结合起来，也就是"视觉知识"和"文本知识"的结合。

"我们想把 3D 生成器的能力和大语言模型的推理能力，带到一个可交互的空间里，做出人们真正想要的东西，"MIT 研究生、论文第一作者、CSAIL 校友 Faraz Faruqi（2026 年博士）说，"语言模型擅长文本和图像，而 TRELLIS 的强项是生成 3D 模型，因为它见过太多这类数据。"

不止是创意品，还能做医疗辅具和机器人

InstructMesh 的优势也出现在一些更出人意料的领域。MIT 科学家用该程序做了一款"牛仔布外观"的护膝，以搭配患者的牛仔裤。InstructMesh 甚至能帮助做机器人——更准确地说，是容纳无线元件的"聪明外壳"。研究人员做了一个像彩色小虾的"刚毛机器人"（bristle bot）来演示：电机藏在里面，一开机就能在表面上滑动，有点像发条玩具。

新手也能修，而且修得很好

Faruqi 和同事发现 InstructMesh 能轻松做出他们想要的物品。但那些从没做过 3D 建模的人会怎么看这个程序？他们真的能在制造前发现设计缺陷吗？

为了弄清这点，团队让 TRELLIS 复现 Thingiverse 上的热门 3D 模型——Thingiverse 是一个拥有数百万可打印 3D 模型的平台。结果，生成模型中近 80% 都存在某种结构缺陷。随后，CSAIL 研究人员让新手用 InstructMesh 找出并修复这些问题——经专家确认，他们识别和处理问题的成功率都约为 90%。这些新手虽然缺经验，但直觉很准。

InstructMesh 把原本需要 3D 建模专业知识的流程"搭成了脚手架"。Faruqi 解释说："由于操作发生在生成模型的潜空间里，InstructMesh 支持用自然语言描述问题，并为用户生成可解释的几何改动，供用户评估和确认。"用户随后做出了手机支架、花瓶之类的物品，并表示 InstructMesh 很好用。他们还发现，InstructMesh 能表达很广的想法，而滑块控件让他们可以更精细地调整，比如放大或拉伸模型的某个部位。"用户得到了他们所提示的东西，也能在需要的地方轻松微调设计，"Faruqi 补充道，"可以说，他们看到的，就是得到的；东西也和描述一样能正常使用。"

未来计划

Faruqi 目前在 Google 工作，未来可能会把 InstructMesh 接入增强现实（AR）平台。思路是：你结合周围环境向系统说明需求，它就能快速 3D 打印出来——比如做一个和钱包配套的手机壳。

InstructMesh 还可能开始加入物理仿真，用来模拟设计在特定使用场景下的反应，比如碗掉地上会不会碎、哪种材料最合适。该软件或许还会集成较新的 TRELLIS.2，以精修 3D 模型中更细微的特征。