clouderaCDH安装
功能名称： 编 写 人： 确 认 人： 业务名称： 编写日期： 确认日期： 2014-7-28
修订记录
日期 版本 作者/修改者
描述 审核人
目 录
1. 导言 ................................................................................................................................................ 6
1.1. 1.2. 1.3. 1.4.
说明................................................................................................................................ 6 集群节点 ....................................................................................................................... 6 硬件................................................................................................................................ 6 软件版本 ....................................................................................................................... 6
2. 准备工作 ........................................................................................................................................ 6
2.1. 2.2.
操作系统 ....................................................................................................................... 6 磁盘................................................................................................................................ 6 2.2.1. 2.2.2. 2.2.3. 2.3. 2.4.
是否需要raid ...................................................................................................... 6 磁盘划分............................................................................................................... 6 磁盘裸设备的挂载 .............................................................................................. 7
关闭防火墙 ................................................................................................................... 8 修改主机名并配置Hosts .......................................................................................... 8 2.4.1. 2.4.2.
修改主机名 .......................................................................................................... 8 设置每台主机的hosts ...................................................................................... 8
2.5. ssh免登陆配置 ............................................................................................................ 9 2.5.1. 2.5.2.
创建公钥和密钥 .................................................................................................. 9 配置与其他机器的免密码登陆 ....................................................................... 11
2.6. 同步集群时间ntp ..................................................................................................... 11 2.6.1. 2.6.2. 2.6.3.
配置ntp server集群时钟 .............................................................................. 12 ntp客户端配置................................................................................................. 13 测试 ..................................................................................................................... 14
2.7. 上传安装包以及搭建yum源 ................................................................................. 16
2.7.1. 2.7.2. 2.7.3. 2.7.4. 2.7.5. 2.7.6. 2.7.7.
安装cloudera需要的文件如下安装包 ........................................................ 16 上传yum源需要的文件到 /var/www/html目录下 ............................... 16 启动httpd服务 ............................................................................................... 16 测试HTTPD ...................................................................................................... 17 编辑yum源配置文件 ..................................................................................... 18 安装createrepo .............................................................................................. 20 创建源索引 ........................................................................................................ 20
3. cm安装 ....................................................................................................................................... 20
3.1. 3.2.
上传cm安装启动程序 ............................................................................................ 20 安装cm的install.bin ............................................................................................. 20
4. cdh安装 ...................................................................................................................................... 24
4.1. 4.2. 4.3. 4.4.
登陆CM ...................................................................................................................... 24 指定主机 ..................................................................................................................... 25 群集安装 ..................................................................................................................... 26 安装parcel ................................................................................................................ 26 4.4.1. 4.4.2. 4.5. 4.6. 4.7. 4.8. 4.9. 4.10.
配置CDH-5.3.0-1.cdh5.3.0.p0.30-el6.parcel.sha1 ............................... 26 配置parcel ........................................................................................................ 27
选择parcel和cm等 ............................................................................................... 30 安装CM JDK和分发数据包等 ............................................................................... 32 分配parcel ................................................................................................................ 34 检查各个主机 ............................................................................................................. 34 选择需要安装的服务 ................................................................................................ 35 分配角色并安装 ......................................................................................................... 36
5. 验证和使用 .................................................................................................................................. 39
5.1. 5.2.
zookeeper ................................................................................................................. 39 hbase .......................................................................................................................... 39