Hadoop概述

1 Hadoop 特点

  • 扩容能力(Scalable):能可靠地(reliably)存储和处理千兆字节(PB)数据
  • 成本低(Economical):可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点
  • 高效率(Efficient):通过分发数据,hadoop可以在数据所在的节点上并行地(parallel)处理它们,这使得处理非常的快速
  • 可靠性(Reliable):hadoop能自动地维护数据的多份副本,并且在任务失败后能自动地重新部署(redeploy)计算任务

2 Hadoop 集群

2.1 Hadoop 集群的物理分布

HadoopSummary_1
注:

  • rack:支架
  • 黄色的代表主节点,主节点是唯一的,从节点是不唯一的
  • 节点之间通过交换机通信
  • 如果 client 有读写请求,首先接触到的是 NameNode 节点;如果 client 有计算请求,首先接触到的是 JobTracker 节点

2.2 单节点的物理结构

HadoopSummary_2