发表于 | 分类于

1 Hadoop 特点

  • 扩容能力（Scalable）：能可靠地（reliably）存储和处理千兆字节（PB）数据
  • 成本低（Economical）：可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点
  • 高效率（Efficient）：通过分发数据，hadoop可以在数据所在的节点上并行地（parallel）处理它们，这使得处理非常的快速
  • 可靠性（Reliable）：hadoop能自动地维护数据的多份副本，并且在任务失败后能自动地重新部署（redeploy）计算任务
    阅读全文 »

发表于 | 分类于

MapReduce：并行计算架构

1 MapReduce 架构

  • 主从结构
    • 主节点：只有一个（JobTracker）
    • 从节点：有很多个（TaskTracker）

注意：主节点和从节点都是不同的物理机器

发表于 | 分类于

1 分布式文件系统（Distributed File System）

  • 数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统
  • 是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间
  • 通透性。让实际上是通过网络来访问文件的动作，由程序与用户看来，就像是访问本地的磁盘一般
  • 容错。即使系统中有某些节点脱机，整体来说系统仍然可以持续运作而不会有数据损失
  • 分布式文件管理系统很多，hdfs只是其中一种。适用于一次写入多次查询的情况，不支持并发写情况，小文件不合适
    阅读全文 »

发表于 | 分类于

1 Vim 常用操作

Vim：

  • 一般模式：无法输入字符，只能输入动作指令，如移动光标、删除、复制、粘贴等
  • 插入模式：输入字符
  • 命令行模式：输入命令，如打开、保存、查找、替换等

一般模式 -> 插入模式：i
插入模式 -> 一般模式：Esc

阅读全文 »

发表于 | 分类于

1 一个简单的例子

1
2
3
4
5
6
7
8
9
10
11
12
class PartyAnimal:
    x = 0
    
    def party(self) : # 第一个参数总是“self”，其它参数放在“self”后面
        self.x = self.x + 1
        print "So far",self.x
        
an = PartyAnimal() # 构造一个PartyAnimal实例

an.party()
an.party()
an.party()
阅读全文 »

发表于 | 分类于

1 Bash命令行

  1. Bash是GNU的重要组件，是绝大部分Linux发行版本上默认的Shell
  2. 命令提示符：[当前登录主机的用户名@当前登录主机的主机名 用户当前所处的目录]当前登录用户类型
    ~：当前用户的“家目录”
    $：普通用户
    #：根用户
    例：[user1@localhost ~]$
  3. 长选项命令 --help：输出命令的简短帮助文档
    阅读全文 »