名词解释
ETL: Extract-Transform-Load ,从字面上页可以理解出为三个阶段,数据抽?。‥xtract),数据转化(Transform),数据加载(Load?)
(1)Extract:数据抽取从数据源读取数据
(2)Transform:数据转换就是原始数据转换成期望的格式和维度。也即数据清洗
(3)Load: 数据加载就是把经过第二步处理后的数据,存放到数据仓库
三层架构
ODS层:(Operational Data Store) 操作性数据,这一层存储的是最原始的数据,收集收集上来了后,不会改变数据机构,直接存储在这一层。该层数据周期一般比较短,ODS的数据最终流入DW层
DW层: (Data Warehouse)数据仓库,是数据的归宿。对ODS层的数据,进行相关格式处理后,形成结构化的数据,存储在这一层。这里保持这所有的从ODS到来的数据,并长期保存,而且这些数据不会被修改
DM层:(Data Mart) 数据集市,为了特定业务而清洗出的结果数据,比如报表,就是从这一层拿数据