1
数据仓库一般来说分为三层:接入层、中间层、应用层。
其中,
1、接入层为ODS层,即opreational data store。数据同步,基本与源数据保持一致。
2、中间层包含DWD层、DWS层、DWM层,以及临时表TMP层和维度DIM层。
- DWD层,数据明细层,即data warehouse detail。做标注化,维度补齐,异常处理。
- DWS层,数据汇总层,即data warehouse summary。单一业务场景,行为数据组装,提升公共指标的复用。
- DWM层,数据集市层,即data warehouse market。宽表数据,跨业务数据,行为数据组装。
- DIM层,维度表层。一致性维度建设。
3、数据应用层,即APP层。个性化指标加工,基于应用的数据组装。
2
说到数据仓库的内容,那可就多了。
首先,我们来看下数据仓库的定义
数据仓库是一个面向主题的,集成的,相对稳定的,反映历史变化的数据集合,用于支持管理决策。
从定义就可得知,数据仓库的最大核心内容便是数据。
那么数据是存储在哪里的
传统数据仓库的数据一般存储在teradata、db2、oracle等大型数据库中;
基于hadoop的数据仓库的数据是存储在hdfs中。
3
数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。 为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。