筛脏图乱码重复样本｜数据标注员AI场景

要准备的

关于这件事怎么办

模糊到什么程度算脏图？

按设定的清晰度阈值判定，低于阈值标记为模糊，接近阈值的列为边界样本，由你人工确认是否剔除。

相似度多少算重复？

图像按感知哈希汉明距离、文本按相似度阈值比对，超过你设的阈值列为重复组，同组只保留一条。

乱码和无效语音怎么识别？

文本检查乱码字符比例和空标签，语音检查时长和有效语音段，异常的都记入登记表对应问题类型。

筛脏图乱码重复样本需要准备什么？

需要填的是：数据类型、上传数据批次、清洗规则、去重方式、模糊判定阈值、相似度阈值、问题类型、批次范围。每一项点一下就行，多数不用打字。点「直接办这件事」就开工；没选全也能先办，回头补了随时能改。

能拿到什么成果？

交付形式是表格——平台直接做好表格，能下载成 Excel。在GPT中文网（www.gpt.com.cn）按字段填完即可拿到。文字类成果免费生成，免注册即可试。

什么情况下需要筛脏图乱码重复样本？

人工肉眼翻样本又慢又漏，重复和脏数据混进训练集，模型效果差还要返工。遇到这种情况，把信息按字段点选一遍，AI 按你点的出成品，不用自己琢磨怎么说。

适合谁用？

数据标注员、标注质检员和训练数据清洗人员。不需要 AI 使用经验，按字段填完即可。