AI工具热点|英伟达TensorRT Model Connect公开预览:两条命令走完推理

◆TensorRT Model Connect进入公开预览

8月18日前后，英伟达AI官方账号宣布TensorRT Model Connect公开预览：受支持的Hugging Face模型，可用两条命令走到端到端TensorRT推理，没有中间ONNX导出。定位是把「能跑的权重」收成可部署的推理产物，而不是再发一版训练框架。

公开技术介绍称，构建阶段产出带版本的.bundle，再在原生C++任务API上加载，运行时不必再走PyTorch。快速入门示例用trtmc build与trtmc run处理Qwen3-0.6B一类受支持模型。项目按模型族提供参考实现，不是对Hub上任意架构都保证可转。有介绍称Linux aarch64可提供二进制轮子，x86_64需用Docker从源码构建——以仓库说明为准。

预览降低的是「从权重到引擎」的步骤数。生产接入仍要核对该模型族是否在支持表里，以及bundle在目标芯片上的实测吞吐。

◆参考来源

• 英伟达AI官方账号：TensorRT Model Connect Public Preview（2026-08-18）
  https://x.com/NVIDIAAI/status/2089750360869233059