示例成品 · 平台演示,按左边这组点选真跑出来的
示例:异常排查记录(示意)
一、基本情况
异常批次:2025-03-12 跑分,总分 81.4;同期基线:2025-03-05 跑分,总分 72.6。分差 8.8,占基线比例 12.1%。
评测集版本:v2.3(异常批次)对 v2.2(基线);模型配置:推理温度由 0.2 调至 0.7,提示模板未变。
二、疑点列表
疑点1:评测集由 v2.2 升到 v2.3,部分旧题被替换,难度分布可能变化。
疑点2:推理温度上调,开放式题输出更发散,自动评分可能偏高。
疑点3:日志中第 47~52 题出现重试,响应时间异常,需确认是否重复计分。
三、逐题比对(贡献前 5)
题号 | 异常批次得分 | 基线得分 | 分差 | 占基线比例
Q017 | 1.0 | 0.2 | +0.8 | +400%
Q033 | 0.9 | 0.4 | +0.5 | +125%
Q048 | 1.0 | 0.6 | +0.4 | +67%
Q052 | 0.8 | 0.5 | +0.3 | +60%
Q061 | 0.7 | 0.5 | +0.2 | +40%
其余题目合计分差 +6.6。
四、结论与佐证
结论:分数飙升主因集中在 Q017、Q033、Q048 等少数题,与评测集版本更替和推理温度上调同时出现,需回滚单项再跑复核。
佐证:① 逐题分差表显示前 3 题贡献 1.7 分,占分差 19.3%;② 日志显示这 3 题在异常批次中评分规则命中率高于基线;③ 配置表确认推理温度变动。
建议:固定评测集 v2.2 重跑异常批次,或固定温度 0.2 用 v2.3 重跑,确认分差来源。
点左边「开工 · 直接出成品」,出一份你自己的版本(文字免费)