Hadoop云计算平台实验报告V1.1
第1页共35页
目录
1 2
实验目标 ................................................................................................................................... 3 实验原理 ................................................................................................................................... 4 2.1 2.2
HADOOP工作原理 .................................................................................................................... 4 实验设计 ................................................................................................................................. 6
2.2.1 2.2.2 2.2.3 3
可扩展性 ......................................................................................................................... 6 稳定性 ............................................................................................................................. 7 可靠性 ............................................................................................................................. 7
实验过程 ................................................................................................................................... 9 3.1
实验环境 ................................................................................................................................. 9
安装Linux操作系统 ..................................................................................................... 10
3.1.2 安装Java开发环境 ...................................................................................................... 14 3.1.3 安装SSH ........................................................................................................................ 15 3.1.4 配置网络 ....................................................................................................................... 15 3.1.5 创建SSH密钥安全联机 ............................................................................................... 19 3.1.6 配置Hadoop云计算系统 ............................................................................................ 19 3.1.7 配置Slaves节点 ........................................................................................................... 23 3.1.8 格式化Hadoop系统 .................................................................................................... 23 3.1.9 启动Hadoop集群 ........................................................................................................ 23 3.2 2．实验过程 ......................................................................................................................... 25 3.2.1 可扩展性 ....................................................................................................................... 25 3.2.1.1 动态扩展 ................................................................................................................................. 25 3.2.1.2 动态缩减 ................................................................................................................................. 27
3.2.2
3.1.1
稳定性 ........................................................................................................................... 28 3.2.3 可靠性 ........................................................................................................................... 31 3.2.4 MapReduce词频统计测试 ............................................................................................... 32
4
实验总结 ................................................................................................................................. 35
第2页共35页
1 实验目标
1. 掌握Hadoop安装过程 2. 理解Hadoop工作原理 3. 测试Hadoop系统的可扩展性 4. 测试Hadoop系统的稳定性 5. 测试Hadoop系统的可靠性
第3页共35页