示例成品 · 平台演示,按左边这组点选真跑出来的
数据没贴出来,我不硬编结果。先把**口径、来源字段、公式、报表模板**定死,你原始数据一来就能直接跑出“有来源、能复核”的错率报表。
---
## 一、这次错率怎么算(先定口径,别再来回改)
**1)分母:应评样本数 N**
- 指定“模型迭代版本”范围内,派发给该标注员的样本数。
- 排除:已作废任务。
- 未提交/未完成样本:计入分母,按“漏标”处理。
- 如果你们规定“未完成不算错”,那就排除未提交样本,但必须在报表来源说明里写清楚。
**2)分子:错误样本数 E**
- 一个样本只要出现至少一种错误,就算 1 个错误样本。
- 同一个样本同时有漏标、错标、格式错,也只算 1 个“错误样本”,但在错误类型列里分别计 1。
**3)错误类型定义**
| 错误类型 | 判定口径 |
|---|---|
| 漏标 | 标准答案有标签,但标注结果为空/未提交 |
| 错标 | 标准答案有标签,标注结果有值,但和标准答案不一致 |
| 格式错 | 字段缺失、字段错位、无法解析 |
**4)分层加权汇总**
- 总错率 = 各分层错误样本数之和 / 各分层应评样本数之和。
- 不要简单平均各标注员错率。
示例:
- 标注员 A:100 条,错 5 条,错率 5%
- 标注员 B:20 条,错 2 条,错率 10%
- 两人整体错率 =(5+2)/(100+20)= 5.83%
- 不是(5%+10%)/2 = 7.5%
---
## 二、原始表必须有的字段
这张表是“来源”,领导再问,就给他看这张明细。
| 字段名 | 说明 |
|---|---|
| model_version | 模型迭代版本 |
| sample_id | 样本 ID |
| task_id | 任务 ID |
| annotator_id | 标注员 |
| task_status | 任务状态,用于排除作废 |
| gold_label | 标准标签 |
| annotated_label | 标注结果 |
| format_error_flag | 格式错标记,1 或“是”表示格式错 |
| reviewer_id | 质检/复核人 |
| review_time | 复核时间 |
| source_file | 来源文件,比如导出文件名 |
---
## 三、Excel 直接计算公式
假设明细表每行一个任务,标准标签在 G 列,标注结果在 H 列,格式错标记在 I 列。
**漏标:**
```excel
=IF(AND(G2<>"",H2=""),1,0)
```
**错标:**
```excel
=IF(AND(G2<>"",H2<>"",G2<>H2),1,0)
```
**格式错:**
```excel
=IF(I2=1,1,0)
```
**错误样本:**
```excel
=IF(OR(J2=1,K2=1,L2=1),1,0)
```
**总错率:**
```excel
=IFERROR(SUM(M:M)/SUM(N:N),0)
```
其中:
- M 列是“错误样本”
- N 列是“应评样本数”,每行填 1,作废行填 0 或直接过滤掉。
**按模型版本错率:**
```excel
=IFERROR(SUMIFS(M:M,A:A,A2)/SUMIFS(N:N,A:A,A2),0)
```
**按标注员错率:**
```excel
=IFERROR(SUMIFS(M:M,D:D,D2)/SUMIFS(N:N,D:D,D2),0)
```
**按模型版本 + 标注员交叉错率:**
```excel
=IFERROR(SUMIFS(M:M,A:A,A2,D:D,D2)/SUMIFS(N:N,A:A,A2,D:D,D2),0)
```
---
## 四、错率报表模板
“全部”行用加权汇总,不要用平均值。
| 模型版本 | 标注员 | 应评样本数 | 漏标数 | 错标数 | 格式错数 | 错误样本数 | 总错率 | 漏标率 | 错标率 | 格式错率 | 来源说明 |
|---|---:|---:|---:|---:|---:|---:|---:|---:|---:|---:|---|---|
| 全部 | 全部 | 1000 | 20 | 30 | 5 | 50 | 5.00% | 2.00% | 3.00% | 0.50% | 明细表:质检导出20250101.xlsx |
| v1.1 | 全部 | 600 | 10 | 18 | 2 | 28 | 4.67% | 1.67% | 3.00% | 0.33% | 规则版本:v2 |
| v1.1 | 标注员A | 100 | 2 | 3 | 1 | 5 | 5.00% | 2.00% | 3.00% | 1.00% | 复核人:张三 |
| v1.2 | 标注员B | 80 | 1 | 4 | 0 | 5 | 6.25% | 1.25% | 5.00% | 0.00% | 复核人:张三 |
---
## 五、负责人复核摘要模板
这是给领导看的,直接填数。
```text
【质检错率重算·负责人复核摘要】
一、数据来源
- 标注明细导出:质检导出20250101.xlsx
- 标准答案表:gold_model_v3.xlsx
- 错误判定规则:漏标/错标/格式错,规则版本 v2
- 数据导出时间:2025-01-01 10:00
二、重算范围
- 模型迭代版本:v1.1、v1.2、v1.3
- 标注员:全部
- 排除作废任务:12 条
三、结果
- 总体错率:5.00%(错误样本 50 / 应评样本 1000)
- 按模型版本:
- v1.1:4.67%
- v1.2:5.21%
- v1.3:5.10%
- 按标注员:
- 标注员A:5.00%
- 标注员B:6.25%
- 主要错误类型:
- 漏标:20 条
- 错标:30 条
- 格式错:5 条
四、异常与复核
- 错率最高:标注员B,主要集中在 v1.2 错标。
- 格式错集中:v1.3 的字段“label”缺失。
- 与上版差异:错误率上升 0.3 个百分点,主要来自 v1.2 错标。
五、负责人结论
- 数据来源可追溯:是
- 口径已确认:是
- 需整改项:标注员B 重新培训;v1.2 批次复核。
- 是否可上报:可上报 / 需整改后上报
复核人:________
日期:________
```
---
## 六、下一步
你把原始表按第二部分字段导出,发我。
我可以直接按这个口径帮你跑出:
1. 错误明细表
2. 分层加权汇总表
3. 负责人复核摘要
这样领导再问“来源在哪”,直接拿明细和规则版本给他看。
点左边「开工 · 直接出成品」,出一份你自己的版本(文字免费)