CritPt v2正式发布：专为前沿物理科研推理能力评测的权威基准升级

SmartHey10月26日消息，由美国阿贡国家实验室与伊利诺伊大学厄巴纳‑香槟分校联合主导研发、Artificial Analysis 独立评测的 CritPt v2 基准今日正式发布。作为 CritPt 系列的全面升级版本，v2 聚焦于真实、严谨的大模型物理学科研推理能力评估，显著提升题目质量、评测维度与科研实用性。

区别于依赖教科书习题或公开竞赛题的传统数理基准，CritPt 全量数据集由全球逾60位活跃在量子物理、天体物理、统计力学、凝聚态物理等十一大现代物理前沿领域的科研一线专家原创编写，所有题目均为未公开发表的研究级课题，高度还原科研助理日常需应对的真实任务场景，有效规避训练集污染风险。

CritPt v2 核心升级与评测机制

v2 版本经原作者团队与多学科物理专家协同复审，系统性修正 v1 中存在的题干歧义、原理偏差及表述笔误等问题；最终测试集精炼为70道高复杂度、跨子域融合的综合科研挑战题。

评测严格运行于离线 Linux 沙箱环境：模型可调用代码执行工具完成数值计算、符号推导与可视化分析，但禁止任何形式的联网检索；评测结果由 Artificial Analysis 提供独立、免费的打分 API 统一生成。该数据集不对外公开，仅面向通过资质审核的高校实验室与科研机构开放申请——研究者可通过邮件 critpt@artificialanalysis.ai 提交权限申请，获批后即可接入 API 开展标准化评测。

评测体系突破单一准确率局限，构建四维量化评估框架：

1. 任务得分：模型解答物理科研问题的最终正确率；

2. Token 消耗：精细化区分推理过程 token 与答案生成 token；

3. 成本指标：逐环节核算单任务美元成本，涵盖输入处理、缓存读写、模型推理及输出生成；

4. 推理速度：以加权平均解码耗时衡量实时响应性能，数值越低代表效率越高。

首批公开榜单揭晓

CritPt v2 首批榜单覆盖11款当前最具代表性的前沿大模型：

1. GPT‑6 Astra (Max)：83.1%，位居榜首；

2. GPT‑6.1 Sol (Max)：82.0%，排名第二；

3. Claude Opus 5.5 (Max, Default Fallback)：77.7%，位列第三。

平台同步提供多维对比视图，包括「得分‑单任务成本」「得分‑输出 token」「得分‑推理耗时」「得分‑模型发布时间」等帕累托前沿分析图表，助力科研团队实现模型选型的科学决策与资源优化配置。