1 Hadoop 特点
- 扩容能力(Scalable):能可靠地(reliably)存储和处理千兆字节(PB)数据
- 成本低(Economical):可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点
- 高效率(Efficient):通过分发数据,hadoop可以在数据所在的节点上并行地(parallel)处理它们,这使得处理非常的快速
- 可靠性(Reliable):hadoop能自动地维护数据的多份副本,并且在任务失败后能自动地重新部署(redeploy)计算任务
2 Hadoop 集群
2.1 Hadoop 集群的物理分布
注:
- rack:支架
- 黄色的代表主节点,主节点是唯一的,从节点是不唯一的
- 节点之间通过交换机通信
- 如果 client 有读写请求,首先接触到的是 NameNode 节点;如果 client 有计算请求,首先接触到的是 JobTracker 节点