为数据赋能敏捷高效的数据处理徐岷峰TalkingData资深架构师数据处理DataWrangling•ETL：从多种数据源提取数据，做清理、聚合、派生，加载到特定存储•ELT：利用存储的计算能力做数据变换数据处理的流程DataWranglingDataWranglingTalkingData遇到的问题需求理解不一致/不清晰沟通成本高开发技术栈纷杂功能重复开发预计算缺乏统一的标准与服务即席查询多种异构数据元数据系统MetaDataSystemMetaDataSystem元数据是定义数据的数据是实现系统复用的关键可以直接作为系统的外部接口元数据驱动元数据是实现敏捷的关键元数据是对业务的高度抽象某种程度上确定了系统的数据边界Meta-MetaDataMetaModelMetaDataDataDatasetSpecificationDatasetDatasetDefinition数据源（DataSource）分区定义（Partition）数据集（DataSe...