普林斯顿发布SSoN空间智能评测基准:揭示多模态大模型三维推理严重短板

SmartHey11月4日消息,近日,普林斯顿大学AI实验室推出全新空间智能评测基准SSoN(Same Space or Not),该基准专为剥离动态交互、动作控制等干扰因素而设计,聚焦评估AI在静态跨视角条件下的三维空间理解能力。

评测结果揭示了当前主流多模态大模型在空间几何推理方面存在明显不足:人类受试者平均准确率达83.3%,而表现最佳的视觉语言模型仅为39.7%;多数模型得分甚至低于25%的四选一随机猜测基线。

SSoN测试逻辑简洁而有力:向模型输入同一室内场景的四张静态图片(其中一张经视角或布局调整后混入异常),要求识别出唯一不属于该空间的图片。这一任务直接检验AI是否具备跨视角整合三维空间信息的能力。人类凭借日常空间经验即可快速判断,但现有视觉大模型却普遍表现乏力。

研究团队对结果进行系统性归因分析,提炼出当前大模型空间智能的三大核心瓶颈:

第一,物体位移、视角旋转等基础空间变换类题目错误率最高,暴露模型对刚体几何关系建模能力薄弱;

第二,存在“答案正确、推理错误”现象——约30%的正确输出缺乏合理逻辑支撑,属于统计性蒙对,而非真正空间理解;

第三,多数模型整体准确率未达随机基线,表明其尚未形成稳定、内化的三维空间直觉。

为探索突破路径,研究人员开展多组对照实验:

实验发现,仅靠提示词工程或引入传统三维重建模块,性能提升微乎其微;若直接注入真实相机参数(如焦距、位姿),模型表现显著改善,但仍难以突破50%准确率门槛;

最具希望的是针对性监督微调:基于SSoN任务数据集进行定向训练后,模型在完全未见过的新房间场景中,准确率接近翻倍。这证实——大模型的空间一致性判断能力并非不可优化,而是可通过结构化任务驱动实现有效迁移与增强。

业内专家指出,SSoN通过极致简化评测维度,精准锚定AI跨视角三维空间整合能力的根本缺陷,不仅为学术界提供了高信度、低噪声的评估标尺,也为具身智能、服务机器人、AR/VR实景理解等关键应用领域指明了技术演进方向。