MiniCPM-V 4.7突破端侧AI瓶颈:3GB内存实现超30 token/s,端侧大模型落地进入实用临界点

撰文 | 雁秋
编辑 | 李信马
题图 | IC Photo
2026年,一批旗舰手机已悄然实现多项“无感智能”体验:
开启飞行模式后,在相册中输入“5月份在上海”,相关照片即刻精准呈现;一通30分钟电话结束后,手机自动生成结构化摘要并完整保留原始录音;驶入山洞或弱网区域,导航依然流畅运行、不中断……支撑这些能力的,正是持续演进的端侧大模型技术。
为何手机厂商集体押注端侧AI?首要原因是隐私保障——通话记录、私人照片、生物信息等敏感数据全程留存在设备本地,不出域;其次是可靠性,断网、弱网场景下功能不降级;第三是经济性,相比持续调用云端API,端侧部署一次后几乎零边际成本。
在此关键节点,面壁智能于10月中旬发布轻量化多模态模型MiniCPM-V 4.7,包含35B-A3B(面向旗舰)与1B(面向中低端)双版本。11月技术沟通会进一步披露:在iPhone 18 Pro Max上,35B-A3B模型以约3GB峰值运行内存达成20.51 token/s解码速度;经深度优化后,实测稳定突破30 token/s。
这一进展标志着端侧AI迈过重要门槛——它直击行业核心关切:如何在内存与功耗双重受限的移动终端上,高效部署更大规模、更高能力的模型。
01、“专家”无需常驻内存
“35B-A3B”如何理解?可类比为一家350人的专业公司,但每次仅需3位对口专家协同响应问题——技术本质是混合专家架构(MoE, Mixture of Experts)。
过去,这类模型在手机上几乎不可行:一台12GB内存旗舰机,系统与后台常驻应用后,实际可用内存不足8GB;而35B模型即使采用Q4量化(参数由32位压缩至4位),权重体积仍达约15GB,远超内存承载极限。
MiniCPM-V 4.7通过“动态专家调度”破局:“专家”按需加载,用完即卸,无需全量驻留内存。更关键的是,性能未因此妥协。
具体实现依托两条路径:其一为硬件侧策略——利用手机大容量闪存(如UFS 4.0)存储全部15GB模型权重;其二为模型侧设计——MoE结构天然具备模块化特性,每生成一个token时,各网络层仅需激活少数专家,其余参数保持静默。
由此,MoE首次在消费级手机上实现真正可用的端侧运行。需特别说明:3GB是峰值运行内存占用,实际存放的是当前激活专家、常驻非专家层及KV缓存,主体权重始终位于闪存中。
但新方案带来新挑战:若等到某一层计算完成才触发下一层专家加载,I/O延迟将远超计算耗时。测试显示,在iPhone 17 Pro Max上直接采用“实时按需加载”,解码速度仅3 token/s,完全无法满足交互需求。
为此,面壁提出LES(Lookahead Expert Scheduling,前瞻专家调度)技术:在前一层运算过程中,即预测下一层最可能激活的专家子集,并提前从闪存预取。若预测准确,I/O等待时间可被计算过程完全“掩盖”。
该预测机制兼顾效率与稳健性——不减少专家激活数量、不替换专家身份、不引入额外训练模块,且严格将内存开销控制在3GB以内。
面壁智能联席首席科学家姚远在分享会上透露:团队在不到一个月内,将iPhone 17 Pro Max上的速度从3 token/s提升至13;升级至iPhone 18 Pro Max后达20.51 token/s;2.0版在精度损失可忽略前提下突破30 token/s,验证了LES在真实芯片平台上的强可迭代性。
02、技术已就位,体验待打通
端侧AI融入智能手机已成为确定性趋势。IDC数据显示,2026年中国AI手机出货量预计达1.47亿台,渗透率升至53%,首次超越非AI机型。
但Counterpoint同时指出:生成式AI已是400美元以上高端机型标配,却尚未成为用户换机的核心驱动力——“支持AI”与“日常高频使用AI”之间,仍存在显著落差。
这并非否定技术价值。当前出货量已确立AI手机为不可逆品类,但决定其能否真正走进日常生活的关键,在于三大落地支点:后台调度、功耗控制与交互入口。
其一为后台兼容性:APP主要运行于CPU,模型推理则由GPU/NPU承担,3GB峰值内存占用与常规应用无资源冲突,计算层面天然隔离。
其二为功耗表现:闪存-内存频繁数据搬运带来约10%额外功耗增量,当前模型运行功耗与大型手游相当;后续通过算子融合与推理引擎深度优化,目标是逼近长时间音频播放的能效水平。
其三为交互入口:V4.7 demo虽首发于iPhone,但安卓与鸿蒙OS均具备适配基础。不过面壁坦言,当前版本仍聚焦开发者生态,偏极客导向,向大众用户普及尚需时间窗口。
值得一提的是,V4.6的1B轻量版已成功下探至千元级安卓机型,实测可达15 token/s以上。双版本策略清晰——35B-A3B冲刺能力上限,1B版本加速普惠覆盖。
姚远在现场分享中提及一项“内部最大认知更新”:去年业界普遍认为强Agent能力需依赖1–2T参数模型,如今仅7–8B的dense模型已在多项Agent任务中展现优异表现。“云端能做到的,端侧理论上皆可实现,只是时间问题。”
他给出经验判断:每一代旗舰大模型,平均约两年即可完成端侧落地。依此节奏,GPT-6级别能力在手机端稳定运行,两到三年内具备技术可行性。
但姚远强调:真正的终点并非诞生“AI手机”这一独立品类,而是让AI成为每部手机的底层能力。当前阻碍一半在模型智能,另一半在于手机厂商的权限体系、数据治理与APP生态架构。
未来或许不再有“AI手机”的称谓——因为所有手机都是AI原生设备。至于其最终形态,很可能已超出我们今天对硬件的全部想象。
03、模型之外:生态协作才是决胜场
若AI手机终将泛化为基础设施,那么产业价值重心将从“模型大小”转向“系统开放度”——入口权、数据调用权与跨应用协同权,将成为新一轮资源再分配的关键。
回看开篇三大场景:相册语义检索、通话内容摘要、离线导航——其共性在于必须访问系统级私有数据。端侧模型确保了数据不出设备,但并不自动获得访问权限。当前Android/iOS均采用APP沙盒机制,相册、通话、地图等数据彼此隔离,AI助手需逐项申请系统授权。
此前已说明,模型与APP在计算资源上互不干扰;但模型能否常驻后台、何时被调度,则完全取决于操作系统策略。这也是AI成为高端机标配却难成换机理由的根源:一次有效使用,往往需跨越多重弹窗授权,体验断层由此产生。
姚远所指的“权限、数据与APP管理体系”,正需终端厂商主导重构。一方面,厂商希望借端侧AI构建差异化体验;另一方面,开放系统接口又涉及安全责任与商业利益平衡。在统一接口标准落地前,模型公司能获取的往往是SDK集成或预装合作层级。
面壁率先推出开发者导向的V4.7 demo,并以1B版本快速覆盖千元安卓机(15+ token/s),正是采取“先铺能力、后等生态”的务实路径——在系统级开放尚需时日之际,优先让模型能力在尽可能多的设备上跑起来。
更宏观地看,端侧不会取代云端,而是走向分层协同:高频、私密、弱网、低时延任务交由端侧;重推理、长上下文、需实时联网知识的任务则交由云端大模型作为“后援支持”。任务如何拆分、何时上云,将成为新的智能决策点。
因此,两三年后更值得关注的,不是“还能塞多大的模型进手机”,而是整个产业的开放协作进度:是否有厂商率先开放系统级AI接口?多少高频APP愿授权助手读取必要数据?跨APP调用能否告别重复弹窗?断网状态下除导航外,还有多少核心功能可保持智能响应?
姚远总结道:“GPT-6级能力在端侧落地,技术上或只需两到三年;但另一半答案,藏在终端厂商、应用生态与云服务方共同书写的权限边界与协作协议之中。”
