📚

BigData14:MapReduce

Created
Nov 1, 2021 02:36 PM
Describe
Link
Tags
只适合离线计算任务

一、框架

  • 高性能并行计算平台(Cluster Infrastructure)
  • 并行程序开发与运行框架(Software Framework)
  • 并行程序射设计模型与方法(Pragramming Model & Methodology)
 

二、Hadoop1.0集群架构

2.1 Hadoop1.0

  • NameNode
  • DataNode
  • Secondary NameNode
  • Job Tracker
  • Task Tracker
notion image

2.2 Hadoop2.0 YARN

  • RM:Resource Manager
  • AM: Application Master
  • NM:Node Manager
notion image

三、Hadoop版本框架

notion image
 

四、大数据任务划分和并行计算模型

notion image
 

五、基于Map和Reduce的并行计算模型

  • 进行Reduce之前,map必须做完。
notion image