Artificial Analysis发布Intelligence Index v5：重构评测体系，以“可合并性”重定义AI编码能力
SmartHey10月29日消息，Artificial Analysis于10月28日发布Intelligence Index v5，这是该机构自2026年1月v4上线以来规模最大的一次基准体系重构。
本次升级最显著的调整在于评测机制的可信度强化：60%的评分权重首次基于私有测试集或隐藏答案构建，旨在大幅压缩公开题库因被模型训练数据反复“污染”而产生的虚高分数，有效遏制厂商为刷分而针对性优化的“注水式”测试行为。
v5延续九项核心评测框架，知识工作、编码、科学与通用能力各占25%权重。其中，编码能力的25%权重进一步细化——Cognition同日发布的FrontierCode 2.0独占15%，Terminal-Bench 4.0占10%。
尤为关键的是FrontierCode 2.0的范式革新：全部132项任务均源自真实开源项目仓库；模型提交的代码修改不再仅由单元测试是否通过判定，而是交由对应仓库维护者依据“是否愿意合并该PR”进行主观评分；任一阻塞性检查（如风格冲突、回归风险、改动冗余等）失败即得零分。
Cognition在6月推出FrontierCode初版时即指出：传统基准仅验证代码“能否运行”，而真实工程决策还需考量改动是否克制、风格是否契合、风险是否可控等难以被自动化测试覆盖的维度。v5将FrontierCode 2.0全面纳入主指数，标志着AI编码能力评价重心正式从“可运行性”转向“可合并性”。
在此新标准下，DeepSeek V4.1-Flash 1017（max）以28%得分位列FrontierCode 2.0单项第一，是当前所有已公开权重模型中的最高分。
Kimi K3.1 Pro以25.5%紧随其后，但据月之暗面官方博客说明，其完整权重预计将于11月4日前发布；Artificial Analysis在v5报告中明确标注其状态为“weights not yet released”。
谷歌Gemini 4 Argon（high）得分为25.7%，GPT-6 Luna为25.2%，均略低于DeepSeek V4.1 Flash。需注意，上述成绩仅限FrontierCode 2.0单项；在Intelligence Index v5综合总分中，DeepSeek V4.1 Flash与GLM-5.3同获32分，仍落后榜首Claude Opus 5.5（58分）达26分，亦低于Claude Haiku 5.5的36分。
Artificial Analysis强调，v5真正放大的并非模型性能落差，而是评测尺度本身的演进——v4.3时期，最强开源模型与榜首差距仅3分；而v5通过大规模启用私有题库、显著提升智能体实战任务比重后，这一差距扩大至12分。Kimi K3.1 Pro以46分成为名义上最强的开源权重模型，但因其权重尚未发布，目前已公开权重的模型中，32分仍是实际天花板。
能力断层在HLE-Diamond与Terminal-Bench-Science两项上尤为突出：Kimi K3.1 Pro分别为37%和34%，而Claude Opus 5.5在HLE-Diamond达68%，GPT-6 Astra在Terminal-Bench-Science高达63%。
v5并未让开源模型“变弱”，而是改变了测量的对象——当题目不再公开、评分不再依赖单一通过率，那些经公开题库过度拟合所获得的“泡沫分数”正被系统性地剥离。
v5同时凸显了“思考努力等级”（effort level）的成本敏感性差异：Claude Opus 5.5从低努力档升至max档，单任务得分跃升23分，对应成本则从0.98美元飙升至10.04美元，涨幅近10倍。
Claude Sonnet 5.5在不同努力档间的分差由v4.3的20分扩大至29分；GPT-6.1 Sol的跨度更翻倍至20分——同一模型在“省流模式”与“全力模式”下的表现差异，已大到近乎两个不同系统。
在综合得分前十的模型中，GPT-6.1 Terra单任务成本最低（0.96美元），Claude Fable 5.1最高（13.04美元），相差逾13倍。
与v5同步推出的Progress Index v1，则致力于解决另一长期难题：当评测基准频繁迭代，如何对跨年代模型进行纵向能力比对？该指数将2022年11月以来主流语言模型统一映射至连续能力标尺，方法论借鉴Epoch AI的Epoch Capabilities Index。Intelligence Index继续作为衡量“当前技术前沿”的快照型指标，而Progress Index则专注刻画“能力随时间演进”的长期趋势，二者互补而非替代。
值得注意的是，v5九项评测中无一模型实现全项领先：Claude Opus 5.5包揽FrontierCode 2.0、HLE-Diamond与AA-Omniscience三项第一；GPT-6 Astra在Terminal-Bench-Science及CritPt v2困难子集登顶；Kimi K3.1 Pro则以67%在Terminal-Bench 4.0单项夺冠。单项优势的高度分散，比总分排名更深刻揭示了当前大模型能力的多维性与非均衡性。
