模型评测师的 AI 办事清单

给AI模型打分的人。这些事现在都能让 AI 直接办：设计评测题、跑基准测试、分析输出质量、写评测报告。不用学提示词，点进去就能做。

31 件 · 31 件免费

定边界情况怎么判复现对话评分结果定清楚模型该干啥不该干啥测试模型拒答边界定清楚模型出错谁负责重算质检错率对比不同模型版本表现比对合成数据像不像真话跟踪迭代失败修复过程看小群体结果有没有足够可信找标签的正反例子设计质检抽样方案追合成数据从哪来的管理红队测试案例整理金标双盲评审结果检查入场暗测答题情况核语料能不能这么用确认标签什么时候生成的把修复过的错误样例变成自动测试追踪越狱变体升级情况检查特征会不会偷偷暴露敏感信息确认两个实验只改了一个变量查各层样本够不够看哪些数据能进采样对比不同批次标注变化补那些少见但重要的样本建立线上失败数据回流链查训练数据有没有泄露收集模型偏见反例给数据集和评测卡做交接清单测试模型对敏感属性响应

托我盯着，有变化才告诉你

定好盯什么、多久看一次、每月最多花多少，到点自动去看。

盯评测集官网挂没挂新版本盯 API 价格与限流规则变动盯自家模型线上坏例有没有扎堆出现

按点交一份

每天、每周或每月自动做好一份，做好就告诉你。

每周出一份模型评测对比日报每月给标注质量出一张对账表

在你自己的 AI 里也能办

用 WorkBuddy、Claude Code、Codex 的，接上硅菩提连接器，在那边说一句，这边的确认卡和成品照样能拿到。怎么接

同行的人也在看

数据分析师数据工程师算法工程师机器学习工程师大模型应用工程师数据科学家 AI训练师数据标注员 AI工程师

模型评测师常去的分类

选模型·练模型7 查数据质量4 搞数据·写脚本3 测性能与兼容2 做分析复盘2 数据校验复盘2 查错·改代码2 数据清单汇总2