英伟达发布VFlash通用视觉解码框架：大幅提升机器人与自动驾驶空间规划速度与精度

SmartHey11月6日消息，英伟达近日正式推出面向高速精准视觉规划的通用解码框架VFlash。该框架通过重构视觉空间信息生成逻辑，显著提升机器人及自动驾驶系统的推理效率与任务执行性能。

传统大语言模型普遍采用自回归式逐Token生成方式，虽适用于文本生成，却难以满足机器人实时控制需求。在抓取、导航等物理交互任务中，系统需输出大量具有强几何特性的数据——如三维坐标、运动航点、轨迹曲线等；若依赖逐点生成，不仅耗时长，更易引发级联误差，严重制约响应实时性。

VFlash的核心突破在于‘闪速原语解码（Flash Primitive Decoding）’：它摒弃逐坐标输出范式，转而将整条轨迹、完整包围框等几何结构视为独立解码单元。系统首先通过工具调用预声明输出长度与视觉基元类型，在冻结视觉语言模型（VLM）上下文的前提下，由轻量级草稿模型一次性并行预测全部空间信息，再交由目标VLM完成特征提取，高效供给下游动作模型。

为保障并行解码的可靠性，VFlash重点攻克三大关键技术：一是边界对齐，确保每个解码块严格对应完整几何对象，避免被Token窗口截断；二是位置对齐，通过专用Token与定宽字段固化坐标、航点等关键字段的输出位置，消除偏移风险；三是几何结构学习，其5层非因果Transformer草稿模型在目标VLM完全冻结条件下训练，专注建模视觉几何特征，文本校验则沿用投机解码机制。

实测结果表明，VFlash在多项关键指标上实现跨越式提升：在H100平台、batch size=1条件下，三维点运动预测单次生成速度最高提升25倍；机器人动作解码加速达12倍；端到端推理整体提速最高5.1倍；3D轨迹误差最大降低61%，有效缓解自回归固有误差累积问题。

在轨迹预测基准测试中，VFlash在ShareRobot‑Bench与VABench‑V全部6项误差指标上全面优于传统自回归解码，平均三维位移误差下降42.6%；于DAVIS数据集开展的稠密三维运动预测任务中，位移误差降低27%；在物体定位场景下，COCO与Dense200数据集的边界框生成速度达基线模型的2.6–2.8倍，同时保持精度基本持平。

在真实机器人操作评估中，搭载VFlash视觉规划模块的世界动作模型（WAM）在MolmoSpaces基准中任务平均成功率提升至70.2%，显著高于62.6%的基线水平；LIBERO系列测试亦显示，各难度层级的操作成功率均有不同程度上升。此外，VFlash已成功拓展至自动驾驶领域，在NAVSIM与Waymo数据集上展现出具备竞争力的推理效率与规划质量，推理速度提升超3倍。

硬件适配方面，VFlash基于TensorRT‑Edge‑LLM运行环境，支持H100、DGX Spark及Jetson Thor等多平台部署。在边缘设备Jetson Thor上，传统自回归解码在模型阶段占延迟75%–87%，而VFlash可将该环节提速12–42倍，为边缘端机器人实时闭环控制提供坚实支撑。

业内专家指出，当前视觉大模型向物理AI演进过程中，除感知理解外，快速生成高质量空间规划已成为关键瓶颈。VFlash从解码底层切入，兼顾速度、精度与泛化性，一套架构即可覆盖机器人轨迹规划、三维运动预测、目标检测与自动驾驶决策等多元场景。不过，目前所有实验均基于标准测试基准，其在复杂动态真实物理环境中的鲁棒性与长期稳定性，仍有待实际部署进一步验证。