商汤开源Loop-9B-Preview小参数大能力模型:循环计算架构媲美27B模型

SmartHey11月1日消息,商汤科技10月30日宣布开源商汤日日新SenseNova Loop-9B-Preview。

官方介绍,该模型创新采用Looped Transformer架构,通过引入循环计算机制,在不显著增加参数量的前提下,有效扩展模型的计算深度,并强化层间信息交互能力,从而显著提升其在复杂任务中的表现。在仅90亿(9B)参数规模下,其综合性能可比肩270亿(27B)参数的大模型。

SenseNova Loop-9B-Preview以9B模型为基座,保留原始解码器的首尾各4层结构,将中间层重构为参数共享的循环计算模块,支持多轮迭代推理,动态延展有效计算路径。

为进一步优化循环过程中的信息流动,模型首次集成mHC(Manifold-Constrained Hyper-Connections)机制——融合多路残差连接与流形约束下的信息混合策略,在增强特征交互丰富性的同时,保障梯度与信号传播的稳定性。

评测结果显示,该模型在代码生成、智能办公及AI智能体(Agent)等关键场景中全面领先同类轻量级模型,并在WorkBuddy Bench、RaccoonPPT Bench和AutomationBench等多项专业基准测试中超越Qwen3.5-27B,验证了“小参数、深计算”技术路线的可行性与竞争力。

消融实验进一步证实mHC机制的实际价值:启用该设计后,模型在GPQA Diamond(高难度科学推理)和TeamBench(多智能体协作任务)两项指标上分别提升4.42分和13.34分,凸显其在复杂推理与多步骤Agent任务中的突出潜力。后续,商汤将持续探索DSA(动态稀疏激活)、自适应迭代次数等优化方向,进一步提升模型推理效率与泛化表现。