GPT中文
www.gpt.com.cn
挑几下就能开工
我
积分
写数据管道方案
直接说你要办的事。
下面是别人怎么办的,点任何一项就换成你自己的。
左边是别人怎么办的,右边是你的,点一项就开始改。
示范 · 别人这样说
「哎,我们系统数据乱成一锅粥,领导要个数据管道方案,下周就要,我完全不知道从哪下手!」
替他选了:批处理 · 详细级
按示范选好的
点一项就变成你的
示范说法
背景补充
数据源类型
关系型数据库
NoSQL
文件系统
消息队列
API
日志文件
数据量级
小于1TB
1-10TB
10-100TB
大于100TB
目标系统
数据仓库
数据湖
实时分析平台
业务系统
数据中台
处理频率
实时流
每小时
每天
每周
每月
数据格式
JSON
CSV
Parquet
Avro
ORC
XML
二进制
清洗需求
去重
缺失值处理
格式转换
数据脱敏
字段映射
异常检测
处理模式
批处理
流处理
微批处理
文档详细程度
概要级
详细级
完整级
你的成品会在这里出现
开工 · 按我选的出成品
示例
示例成品 · 不是你的
AI 按示范写的,看个样子
背景:当前系统数据源包括关系型数据库和日志文件,数据量约1-10TB,目标为数据仓库。需设计每日批处理管道,对数据进行去重、格式转换和异常检测,保证数据质量。 管道架构:采用批处理模式,通过ETL工具从源系统抽取数据,经过清洗层、转换层后加载到数据仓库。数据格式包含JSON和CSV,建议使用Apache Spark或类似框架实现,并定期调度。
展开看全文 ▾
按住说话
普通话 · 方言都行
发送
条款
·
隐私
全部分类
×
分类加载中…
成果 ‹
‹ 对话
‹ 记录