🔭

BigData19:数据仓库

Created
Nov 3, 2021 11:11 AM
Describe
29
Link
Tags

数据仓库技术

  1. 数据拓源
  1. 数据入库
  1. 数据清理
  1. 数据加工
  1. 数据加载
  1. 同步仓库
  1. 输出转换
  1. 产品展示
  1. 用户

数据仓库与OLAP

  • 数据仓库的作用
    • 存储经过加工处理的决策需要的数据
    • 查询和决策分析的依据
    •  

原始数据与导出数据

  • 原始数据可以更新,导出数据不可以更新
  • 原始数据(当前值数据)
  • 导出数据(历史数据)

操作性数据(DB数据)和分析型数据( DW数据)

notion image

数据生产型系统VS 数据分析型系统

notion image
 

数据仓库概念

  • Data Warehouse,面向主题、集成的、相对稳定的、反应历史变化的数据集合,用于支持管理决策。
notion image
 
  • 面向主题
    • 主题是数据的归类标准 高层次
  • 集成的
 

多维数据

注意这里的维和空间的多维区别
  • 维:维是人们观察数据的特定角度
  • 变量/度量/事实
  • 维的层次
  • 多维数组
  • 数据单元
 

OLAP概念

  • 联机分析处理OLAP(On-Line Analytical Processing)
  • OLAP基于数据仓库多维模型的基础上实现面向分析的各类操作集合
 
  • 星型模式
    • ER图向多维表转换

OLAP多维联机分析操作

  • 钻取
  • 上卷
  • 切片
  • 切块
  • 旋转
 

OLAP目标

  • 存取大量数据,包含聚集的数据
  • 按层次对比不同时间周期的聚集数据
  • 不同方式表现数据
  • 数据元素之间的复杂计算
  • 快速的响应用户查询