Ceph安装部署文档
目录
一：简介 ........................................................................................................................................................................... 1 二：部署环境介绍 ........................................................................................................................................................... 1 三：集群配置准备工作 ................................................................................................................................................... 2
3.1 : 生成SSH证书，节点建立连接 ................................................................................................................... 2 3.2 : 建立ip地址list, 修改host文件 ................................................................................................................. 3 3.3 : 网络端口设置 ............................................................................................................................................... 3 3.4 : 安装centos的yum源软件包 =>全部节点安装 ........................................................................................ 4 3.5 : 添加时间同步定时任务 ............................................................................................................................... 4 3.6 : 安装 yum-plugin-priorities. .......................................................................................................................... 8 四：安装ceph软件包 ..................................................................................................................................................... 8
4.1、安装ceph部署机 ，使用ceph-deploy方式安装部署 ................................................................................ 8 4.2、安装ceph存储集群（包括ceph对象网关） ............................................................................................... 8 五：搭建ceph集群 ......................................................................................................................................................... 8
5.1 : 新建ceph集群 ............................................................................................................................................. 9 5.2 : 添加mon节点 .............................................................................................................................................. 9 5.3 : 添加osd节点 ............................................................................................................................................... 9 六：安装过程出现的部分错误及解决方法 ................................................................................................................. 11 七：常用命令 ................................................................................................................................................................. 11
一：简介
Ceph 生态系统架构可以划分为四部分：
1. Clients：客户端：数据用户
2. mds：Metadata server cluster，元数据服务器：缓存和同步分布式元数据（此文档没有安装mds） 3. osd：Object storage cluster，对象存储集群：将数据和元数据作为对象存储，执行其它关键职能 4. mon：Cluster monitors，集群监视器：执行监视功能
二：部署环境介绍
主机名 公网IP（eth0） 私网IP（eth1） 双网卡绑定 bond0 172.16.100.35 运行服务 操作系统 内核 CentOS6.7 备注 anode1 mon、osd 主节点 anode2 172.16.100.36 mon、osd CentOS6.7 anode3
172.16.100.37 mon、osd CentOS6.7 三：集群配置准备工作
3.1 : 生成SSH证书，节点建立连接
1) 所有节点修改hostname vim /etc/sysconfig/network
2) 安装SSH (主节点)
sudo apt-get install openssh-server
3) ssh登陆证书 （主节点） ssh-keygen
将配置完成的证书传输到其它服务器： ssh-copy-id {其他节点用户名}@{其他节点IP} Example:
ssh-copy-id root@anode2
4) 创建并编辑~/.ssh/config 文件，添加其他Host Host {Hostname}
Hostname {ceph-server.fqdn-or-ip-address.com} User {Username} Example: Host anode1
Hostname 172.16.100.35 User root Host anode2
Hostname 172.16.100.36 User root Host anode3
Hostname 172.16.100.37
User root
3.2 : 建立ip地址list, 修改host文件
1) 创建工作文件夹，建立ip地址list，为文件传输做准备 主节点执行 mkdir /workspace/ cd /workspace/
vim cephlist.txt 主机列表 写入：
anode1 anode2 anode3 2) 修改host文件 vim /etc/hosts 追加内容如下：
172.16.100.35 anode1 172.16.100.36 anode2 172.16.100.37 anode3 将host文件传输到其它主机
for ip in $(cat /workspace/cephlist.txt);do echo -----$ip-----;rsync -avp /etc/hosts $ip:/etc/;done
3.3 : 网络端口设置
检查网络设置，确定这些设置是永久生效的，重启之后不会改变。 (1) Network设置，所有节点执行
vim /etc/sysconfig/network-scripts/ifcfg-{iface}
确认ONBOOT 为YES
BOOTPROTO 对于静态IP地址来说通常为NONE
如果要使用IPV6协议的话，需要设置IPV6{opt} 为YES
(2) 防火墙设置(Iptables)，所有节点执行
a) 端口6789：Monitor 需要通过此端口与OSD通信，因此所有Monitor节点需打开 b) 端口6800：7300：用于OSD通信。
每个Ceph Node上的每个OSD需要三个端口，一个用于与client和 Monitor通信；一个 用于与其他OSD传送数据，一个用于心跳检测。如果一个Ceph Node上有4个OSD，打开 12(=3×4)个端口。