GPT中文小秘书挑几下就能开工
我积分

写个能测出模型幻觉的测试集题目

关于「写个能测出模型幻觉的测试集题目」:能拿到什么、要点选什么、怎么办

点几下,几分钟拿到带答案和迷惑干扰项的幻觉测试题。为大模型应用工程师生成10道高区分度幻觉检测题,含标准答案与典型错误干扰项;不替代人工评测,不保证覆盖全部幻觉类型。

能拿到什么

  • 推荐:一份带题号、题干、标准答案、干扰项和一句错误原因说明的 Markdown 测试题文件,按用户勾选的幻觉类型分布,可附 JSON 版(题干一行,下面用列表列出正答和 3-4 个干扰项,每题一条简析,条理清楚),约 5 分钟
  • 旗舰:幻觉测试题全集(Markdown)、JSON 题库文件、评测说明一页、答案核验清单

要你点选的几项

测试领域、题目难度、重点检测幻觉类型、干扰项风格、答案呈现方式、指定知识点或案例、生成题量、输出格式。多数点一下就行,没选的按常见情况替你定,交付时说清哪几项是按默认的。

怎么办

  1. 选测试领域和难度
  2. 勾选要检测的幻觉类型
  3. 填具体知识点或案例
  4. 拿题和答案干扰项,直接评测

别人还这样说

  • 帮我出几道专门戳模型瞎编的题
  • 要那种看着特别真、其实错得离谱的干扰项
直接说你要办的事。下面是别人怎么办的,点任何一项就换成你自己的。左边是别人怎么办的,右边是你的,点一项就开始改。
示范 · 别人这样说

「给我出10道题,专门测大模型会不会瞎编事实。」

替他选了:逻辑合理但无依据 · 标准答案+干扰项列表 · 带编号的逐题段落

按示范选好的 点一项就变成你的

你的成品会在这里出现
示例成品 · 不是你的按示范写的,看个样子
1. 问题:郑和下西洋船队最远抵达的非洲地点是? 标准答案:肯尼亚马林迪(或东非沿岸) 易错干扰项:好望角|开普敦|亚历山大港|摩加迪沙(误作首都) 2. 问题:中国第一部获得戛纳金棕榈奖的影片是? 标准答案:《霸王别姬》(1993年) 易错干扰项:《卧虎藏龙》|《活着》|《春光乍泄》|《红高粱》

GPT中文 也可能出错,成品请自己核对关键数字和事实。条款 · 隐私