GPT中文小秘书挑几下就能开工
我积分

把清洗规则写成脚本和校验SQL

关于「把清洗规则写成脚本和校验SQL」:能拿到什么、要点选什么、怎么办

规则表一键落成脚本、校验SQL和回刷脚本。数据清洗规则落地是数据工程里的日常活;在 GPT中文网点选几项,能直接拿到清洗脚本草稿、校验SQL和回刷脚本。

能拿到什么

  • 推荐:规则-字段对照表.xlsx + 清洗脚本草稿与校验SQL集(对照表逐行列规则编号、目标字段、转换类型;脚本区按空值、去重、映射分块,附校验SQL。)

要你点选的几项

上传规则表与字段清单、涉及的清洗类型、主键去重保留规则、主键与去重字段、回刷范围、目标库类型、生成前后对比统计。多数点一下就行,没选的按常见情况替你定,交付时说清哪几项是按默认的。

怎么办

  1. 上传规则表与字段清单,勾选涉及的清洗类型。
  2. 指定主键去重保留规则和比较字段。
  3. 选回刷范围与目标库,生成对照表、脚本与校验SQL。
  4. 逐条核对规则落到字段是否正确,再交回刷执行。

别人还这样说

  • 这几条空值处理、枚举映射、单位换算的规则,落成SQL和脚本草稿,回刷脚本也一起出。
  • 帮我按规则表出一版规则和字段的对照表,方便我逐条核对有没有落错字段。
直接说你要办的事。下面是别人怎么办的,点任何一项就换成你自己的。左边是别人怎么办的,右边是你的,点一项就开始改。
示范 · 别人这样说

「我把清洗规则表和字段清单传上去,帮我生成清洗脚本和校验SQL,主键去重按说明来。」

替他选了:去重

按示范选好的 点一项就变成你的

你的成品会在这里出现
示例成品 · 不是你的按示范写的,看个样子
示例: 规则-字段对照表(节选) 规则编号 | 目标字段 | 转换类型 | 脚本片段 | 校验SQL R01 | phone | 格式标准化 | regexp_replace(phone,'[^0-9]','') | SELECT COUNT(*) FROM ods_user WHERE phone RLIKE '[^0-9]' R02 | gender | 枚举映射 | CASE WHEN gender IN ('男','M') THEN '1' WHEN gender IN ('女','F') THEN '2' ELSE '9' END | SELECT gender,COUNT(*) FROM ods_user GROUP BY gender R03 | amount | 单位换算 | amount*100 | SELECT COUNT(*) FROM ods_order WHERE amount IS NULL R04 | user_id | 去重 | row_number() over(partition by user_id order by update_time desc)=1 | SELECT COUNT(*)-COUNT(DISTINCT user_id) FROM ods_user 清洗脚本草稿(示意) INSERT OVERWRITE TABLE dwd_user PARTITION(dt='${dt}') SELECT user_id, regexp_replace(phone,'[^0-9]','') AS phone, CASE WHEN gender IN ('男','M') THEN '1' WHEN gender IN ('女','F') THEN '2' ELSE '9' END AS gender, amount*100 AS amount_cent, update_time FROM (SELECT *, row_number() over(partition by user_id order by update_time desc) rn FROM ods_user WHERE dt='${dt}') t WHERE rn=1; 回刷后校验(示意) 规则命中行数:R01=3200,R02=850,R03=1200,R04=46 清洗前后空值率:phone 6.2%→0.8%,gender 3.1%→0.4% 去重前后行数:100000→99954,差46行

GPT中文 也可能出错,成品请自己核对关键数字和事实。条款 · 隐私