南洋理工大学发布S-Agent 2.0：通用AI编码代理首次实现免训练3D空间推理

SmartHey10月26日消息，南洋理工大学S-Lab联合Ropedia正式推出空间推理工具包S-Agent 2.0。该工具包可将现有通用编码型AI代理，无缝升级为具备3D环境重建、精准测量与深度空间理解能力的智能系统，全程无需模型重新训练，也无需修改代理底层架构。

S-Agent 2.0延续其首创的“行动即推理”范式——AI不再依赖单次直觉猜测答案，而是通过多步工具调用，逐步收集并整合空间证据。系统将视觉语言模型（VLM）作为语义规划器，动态判断下一步所需的关键信息，并调度专用模块执行深度估计、3D对齐、坐标定位等几何计算任务，最终聚合生成结构化、可验证的空间知识。

核心突破在于：它首次让标准编码Agent在零微调前提下，原生获得鲁棒的空间推理能力，显著提升其在多视角理解、视频时空建模等复杂任务中的表现。

S-Agent 2.0为当前主流AI编码代理补上了关键一环：真实物理世界的可测量性与可推理性——从‘看图猜意’迈向‘量尺建模’。

• ▪️ 3D重建：支持从单图、多图或视频序列中生成具备真实尺度与重力对齐的三维场景模型；
• ▪️ 对象分割与实例化：集成SAM 3模型，精准识别物体并将其2D掩码升维为带名称、语义标签的3D实例；
• ▪️ 持久化场景记忆：跨多次工具调用持续追踪物体的位置、尺寸、朝向及身份标识，构建长期一致的空间认知；
• ▪️ 多维空间测量：支持距离、深度、高度、相机/物体运动轨迹、罗盘方位等物理量的端到端计算；
• ▪️ 参考系感知推理：所有输出均基于明确坐标系（如世界坐标系）与标准单位（米、度、左/右/上/下），确保结果可解释、可复现；
• ▪️ 视觉验证闭环：在生成最终结论前，自动调用可视化模块检查分割掩码质量、俯视地图一致性及重建几何合理性。