对比新旧模型出灰度结论

示例： 一、对比概况 评估集：某某业务测试集 v3；新模型：m-2024-06；线上版本：m-2024-03；评估日期：××月××日。两版使用同一评估集与同一口径，可直接比。 二、逐指标对比 指标 | 线上版本 | 新模型 | 差值 | 相对变化 准确率 | 0.872 | 0.889 | +0.017 | +1.9% 召回率 | 0.801 | 0.815 | +0.014 | +1.7% AUC | 0.903 | 0.907 | +0.004 | +0.4% F1 | 0.835 | 0.851 | +0.016 | +1.9% 平均延迟 | 42ms | 55ms | +13ms | +31.0% 单次成本 | ××元 | ××元 | +×元 | +×% 三、关键分群变化 分群 | 线上 F1 | 新模型 F1 | 差值 | 判断 新用户 | 0.79 | 0.80 | +0.01 | 平稳 高频老用户 | 0.88 | 0.90 | +0.02 | 提升 低频长尾 | 0.71 | 0.68 | -0.03 | 掉点，需关注 某品类 | 0.83 | 0.84 | +0.01 | 平稳 四、结论草稿 整体主指标有小幅提升，长尾分群出现掉点，延迟上涨明显。建议先按 10% 流量灰度，重点观察长尾分群 F1 与延迟；若长尾 F1 较线上低超过回滚阈值或延迟超预算，即回滚。灰度观察一周无异常再提到 30%。 结论需由负责上线评审的持证人员核对对比集一致性与结论稳定性后才能用。