Hadoop云计算平台实验报告V1.1

第1页共35页

目录

1 2

实验目标 ................................................................................................................................... 3 实验原理 ................................................................................................................................... 4 2.1 2.2

HADOOP工作原理 .................................................................................................................... 4 实验设计 ................................................................................................................................. 6

2.2.1 2.2.2 2.2.3 3

可扩展性 ......................................................................................................................... 6 稳定性 ............................................................................................................................. 7 可靠性 ............................................................................................................................. 7

实验过程 ................................................................................................................................... 9 3.1

实验环境 ................................................................................................................................. 9

安装Linux操作系统 ..................................................................................................... 10

3.1.2 安装Java开发环境 ...................................................................................................... 14 3.1.3 安装SSH ........................................................................................................................ 15 3.1.4 配置网络 ....................................................................................................................... 15 3.1.5 创建SSH密钥安全联机 ............................................................................................... 19 3.1.6 配置Hadoop云计算系统 ............................................................................................ 19 3.1.7 配置Slaves节点 ........................................................................................................... 23 3.1.8 格式化Hadoop系统 .................................................................................................... 23 3.1.9 启动Hadoop集群 ........................................................................................................ 23 3.2 2．实验过程 ......................................................................................................................... 25 3.2.1 可扩展性 ....................................................................................................................... 25 3.2.1.1 动态扩展 ................................................................................................................................. 25 3.2.1.2 动态缩减 ................................................................................................................................. 27

3.2.2

3.1.1

稳定性 ........................................................................................................................... 28 3.2.3 可靠性 ........................................................................................................................... 31 3.2.4 MapReduce词频统计测试 ............................................................................................... 32

4

实验总结 ................................................................................................................................. 35

第2页共35页

1 实验目标

1. 掌握Hadoop安装过程 2. 理解Hadoop工作原理 3. 测试Hadoop系统的可扩展性 4. 测试Hadoop系统的稳定性 5. 测试Hadoop系统的可靠性

第3页共35页