示例成品 · 平台演示,按左边这组点选真跑出来的
示例:小文件治理清单(示意数据)
阈值:小于 64MB 记为小文件;目标文件大小:256MB
表名 | 分区 | 文件数 | 总大小GB | 平均大小MB | 小文件占比 | 合并预估减少文件数 | 建议优先级
ods_user_log | dt=2024-06-01 | 18240 | 210 | 11.8 | 96% | 17430 | P1
ods_order_detail | dt=2024-06-01 | 9600 | 180 | 19.2 | 91% | 8890 | P1
dwd_trade_fact | pt=202406 | 1520 | 340 | 229 | 12% | 180 | P3
dim_shop | 无分区 | 760 | 96 | 129 | 34% | 390 | P2
ods_pay_flow | dt=2024-06-01 | 5300 | 70 | 13.5 | 94% | 5030 | P1
ads_user_summary | dt=2024-06-01 | 210 | 88 | 429 | 3% | 0 | P4
汇总:共 6 个表分区,小文件总量约 31920 个,合并预估可减少约 31920 个文件;P1 三个分区建议本周处理。
计算说明:平均文件大小=总大小/文件数;小文件占比=小于阈值文件数/文件数;合并预估减少文件数≈文件数−向上取整(总大小/目标大小)。结论请结合集群实际情况复核后使用。
点左边「开工 · 直接出成品」,出一份你自己的版本(文字免费)