SmartHey10月26日消息：东北大学等联合发布EC²-Bench，首个面向端云协同智能体长周期任务的开源评测基准
SmartHey10月26日消息，近日，东北大学、清华大学与中国移动联合研究团队正式发布EC²‑Bench（Edge‑Cloud Collaborative Agent Benchmark）——国内首个面向大模型智能体长周期任务的端‑云协同评测基准。该基准系统性探究边缘设备与云端大模型如何高效分工协作完成复杂智能体工作流，在保障任务性能的同时，兼顾算力成本控制与敏感数据隐私保护。相关代码、数据集及论文已全部开源。
图：EC²-Bench总览。在典型长程任务中，端侧与云端Agent沿同一执行轨迹交替工作；本研究对比四种协同策略，核心差异在于‘谁决定云端介入时机’以及‘云端介入后承担何种角色’；并围绕三大关键问题展开系统评估。
当前，本地部署的边缘大模型（通常参数量≤10B）具备数据不出设备、隐私性强等优势，但在复杂规划、多步工具调用等长周期任务中能力受限；而云端前沿大模型虽能力突出，却面临调用成本高、需接收本地敏感上下文等现实挑战，存在显著隐私泄露风险。
此前主流评测基准（如RouterBench、M4A1）多聚焦单次查询的静态路由决策，难以反映智能体在完整多步任务中逐步累积的资源开销与隐私暴露过程，缺乏对端云协同全流程的量化评估体系。
EC²‑Bench 核心设计
EC²‑Bench 构建了包含128项可执行数字化任务的评测集，覆盖办公自动化、信息检索、安全运维、开发运维、数据分析与流程自动化六大真实场景；其中100项任务配备细粒度隐私标注，共标记3385个敏感信息单元，支持对隐私泄露程度进行可复现、可量化的精准评估。
评测基于开源智能体运行环境 OpenClaw，从以下三大维度进行综合衡量：
- 任务性能：任务完成得分、多次运行稳定通过率（Pass³）；
- 资源开销：云端输入/缓存/输出 token 数量、美元级调用成本、边缘端 FLOPs 算力消耗；
- 隐私暴露：泄露至云端的敏感信息占比；采用 LLM 评判器自动识别转述式泄露，F1 分数达 96.9%。
研究选取4种主流端云协同策略开展对比实验，划分依据为两个关键维度：
① 谁决定云端介入时机（外部路由模块 vs 边缘智能体自主判断）；
② 云端介入后执行何种动作（直接生成执行指令 vs 仅输出建议，由边缘模型落地执行）。
图：不同端侧模型下各协同策略的任务完成度均值（点）与波动范围（线）。完成度差异随边缘模型增强明显收窄——从 Qwen3.5-2B 的 25.22 分降至 Qwen3.7-Plus 的 3.67 分。
图：隐私暴露指标波动始终显著，Qwen3.7-Plus 场景下最大差值达 66.23 分，凸显策略选择对隐私安全的关键影响。
四类策略具体定义如下：
- 查询路由：任务启动前一次性决策，全程交由边缘或云端独立执行；
- 逐步路由：每一步均由外部路由模块动态判断是否交由云端处理；
- 边缘控制委派：边缘智能体主动发起调用，云端直接生成下一步动作；
- 边缘控制建议模式：边缘智能体主动请求云端提供执行建议，最终动作仍由边缘模型生成并执行。
实验选用边缘模型包括 Qwen3.5‑2B/9B/27B 与 Qwen3.7‑Plus；云端模型主用 GLM‑5.3，并补充 DeepSeek‑V4.1‑Flash 对照组；同时设置纯边缘与纯云端两组基线方案用于横向比较。
四大核心实验结论
1. 端云协同实现性能与成本的双赢
以 Qwen3.5‑9B 为例，最优协同策略将任务完成得分从纯边缘的 39.12 提升至 60.46（+54%），而云端调用成本仅为纯云端方案的 15%（8.73 美元 vs 56.42 美元）。该协同范式不仅优于简单加权混合，更在能力与开销间达成实质性平衡。
2. 性能可收敛，隐私不自动收敛
随着边缘模型能力提升（如升级至 Qwen3.7‑Plus），各类协同策略的任务完成度差距大幅缩小（仅 3.67 分），但隐私暴露指标的最大差异仍高达 66.23 分。这表明：性能提升无法自然缓解隐私风险，协同策略本身是隐私安全的核心调控杠杆。
3. 最优协同模式随边缘能力演进而迁移
小参数模型（如 Qwen3.5‑2B）更依赖外部路由机制，逐步路由表现最优；而当边缘模型足够强大（如 Qwen3.7‑Plus），**边缘控制‑云端建议模式**成为全场最佳方案（完成度 76.84），凸显“边缘主导决策 + 云端辅助赋能”的新一代协同范式价值。
4. 边缘侧两项协同能力决定系统上限
① 调用时机判断力：边缘智能体自主决策调用时机，相较同等频率的随机调用基线，最高带来 +4.4 分性能增益；
② 指令遵循与建议转化能力：经专项指令微调后，建议模式任务得分从 24.8 提升至 28.8。未来边缘大模型研发，需同步强化“独立任务能力”与“端云协同技能”双重维度。
研究启示
本研究指出：面向终端智能体的下一代大模型研发，不能仅关注单机推理性能，必须将协同能力纳入核心评估体系。即便边缘模型持续进化，不同协作策略引发的隐私风险差异依然巨大——未来模型选型与系统架构设计中，隐私安全性将成为与性能、成本并列的关键决策指标。