地平线发布原生视频几何基础模型LoFT,实现RGB视频端到端三维场景重建
SmartHey11月19日消息,11月18日,地平线机器人实验室正式推出面向具身智能的原生视频几何基础模型——LoFT(Looped Foundation Transformer for Video Geometry)。该模型可直接从普通RGB视频中联合估计相机位姿、内参及逐帧深度图,无需额外传感器或预设几何假设,即可高精度恢复动态场景的三维几何结构,为机器人空间感知、环境理解与具身学习提供统一、鲁棒的几何底层支撑。

不同于传统单帧或离散帧建模方法,LoFT专为连续视频序列设计,创新采用双循环Transformer架构:第一循环聚焦跨帧时序建模,通过局部-全局协同注意力机制逐步扩展时间感受野,充分挖掘相邻帧的运动连续性与多视角间的几何约束;第二循环则显式建模相机运动状态,迭代优化位姿与内参参数,并将更新后的相机状态实时反馈至特征提取模块,形成闭环几何推理。

基于双循环协同机制,LoFT同步预测每帧深度图及其像素级置信度,显著提升深度估计的完整性与可靠性,尤其在遮挡、弱纹理和动态物体区域表现突出,从而稳健重建场景可见三维结构。

为支撑大规模、高质量训练,研发团队构建了统一的三维视频重建数据处理与训练平台。该平台整合约297万条有效训练视频序列、总计9.62亿帧图像,涵盖仿真合成与真实采集、静态室内与动态街景、机器人第一人称视角与车载移动视角等多元场景,并通过标准化清洗、多维度质量评估与自适应采样策略,确保数据一致性与泛化性。

在权威评测体系中,LoFT全面对标VGGT-Ω、DA3-Giant等前沿模型,在SpatialBench(覆盖12个数据集、98个连续视频场景)、ClassicBench(整合7个经典视频重建基准)及VRBench(面向机器人、自动驾驶与通用视频理解的跨领域基准)三大评测中均取得领先成绩,多项深度估计核心指标刷新SOTA(State-of-the-Art)。

在实际应用层面,LoFT已验证于多种复杂动态场景:包括机器人第一人称导航视频、城市街道动态交通流解析、室内精细操作空间建模,以及开放环境下的长时序探索任务,展现出优异的跨场景迁移能力与实时部署潜力。


