本篇文章介绍Ceph集群部署，
包括：实验环境说明、集群基础环境、创建Ceph集群
块存储（rbd）、文件存储（cephfs）、对象存储（rgw）详细介绍，请点击链接跳转。
Ceph产品这里不就介绍了，网上有很多资料可查。直接上实验~
实验过程：
1、Ceph架构图
2、实验环境说明
3、Ceph集群基础环境调试
4、创建Ceph集群
5、块存储（rbd）UOS安装部署Ceph集群（二）_defaults,_netdev 0 0_小时候很牛、的博客
6、文件存储（cephfs）UOS安装部署Ceph集群（二）_defaults,_netdev 0 0_小时候很牛、的博客
7、对象存储（rgw）UOS安装部署Ceph集群（二）_defaults,_netdev 0 0_小时候很牛、的博客
1、Ceph架构图
2、实验环境说明
UOS Server + Ceph
3、Ceph集群基础环境调试
如无特殊说明，以下操作在所有节点上
3.1 修改主机名
# hostnamectl set-hostname node1
# hostnamectl set-hostname node2
# hostnamectl set-hostname node3
# hostnamectl set-hostname client
3.2 配置host解析
# vi /etc/hosts
192.168.26.110 node1
192.168.26.120 node2
192.168.26.130 node3
192.168.26.140 client
3.3 配置时间同步
# apt update && apt -y install chrony
# vi /etc/chrony/chrony.conf
server 192.168.26.110 #增加一行
systemctl start chronyd
3.4 允许root ssh登录
# vi /etc/ssh/sshd_config
PermitRootLogin yes
PasswordAuthentication yes
# systemctl restart sshd
3.5 配置免密登录（以node1为例）
# ssh-keygen
# ssh-copy-id root@192.168.26.120
# ssh-copy-id root@192.168.26.130
# ssh-copy-id root@192.168.26.140
3.6 配置apt源
# vi /etc/apt/sources.list
#--ceph-deploy源
deb [trusted=yes] http://aptly.uniontech.com/pkg/fou-1040/release-candidate/Y2VwaDIwMjEtMDItMDM unstable main
deb [trusted=yes] http://aptly.uniontech.com/pkg/fou-1040/release-candidate/Y2VwaC1kZXBsb3kyMDIxLTAxLTI5 unstable main
#--1040-ceph源
deb http://pools.corp.deepin.com/server-enterprise/ fou/1040 main contrib non-free
deb http://pools.corp.deepin.com/ppa/dde-fou/ fou/1040 main contrib non-free
# apt update
到这里，基础环境就配置完了，如果是第一次玩，最好做个快照方便还原。
如无特殊说明，以下操作在所有节点上
4、创建Ceph集群
4.1 安装ceph、ceph-deploy
# apt -y install ceph
# apt -y install ceph-deploy
4.2 微调配置文件
# vi /usr/lib/python2.7/dist-packages/ceph_deploy/calamari.py
##第16行，增加 ,'uos'
# vi /usr/lib/python2.7/dist-packages/ceph_deploy/hosts/__init__.py
##第93行，增加 ‘uos’: debian
# vi /usr/lib/python2.7/dist-packages/ceph_deploy/hosts/debian/install.py
##注释第66行
distro.conn.remote_module.write_sources_list(url, codename)
如无特殊说明，以下操作在node1上
4.3 创建Ceph集群
创建ceph集群目录
# mkdir /ceph
# cd /ceph
# ceph-deploy new node1 node2 node3
# ls
# vi ceph.conf
##尾部增加下面3行
public network = 192.168.26.0/24
osd pool default size = 9
osd pool default min size = 1
4.4 创建Monitor
# ceph-deploy mon create-initial
# cp ceph.client.admin.keyring /etc/ceph
# cp ceph.mon.keyring /etc/ceph
# cp ceph.bootstrap-osd.keyring /var/lib/ceph/bootstrap-osd/ceph.keyring
查看集群状态
# ceph –s
查看mon状态
# ceph mon stat
node2、node3节点同步配置
# scp /etc/ceph/* node2:/etc/ceph/
# scp /etc/ceph/* node3:/etc/ceph/
# scp ceph.bootstrap-osd.keyring node2:/var/lib/ceph/bootstrap-osd/ceph.keyring
# scp ceph.bootstrap-osd.keyring node3:/var/lib/ceph/bootstrap-osd/ceph.keyring
4.5 创建OSD
如无特殊说明，以下操作在node1上
查看集群OSD信息
# ceph osd tree
查看磁盘信息
# lsblk
擦除分区信息
# ceph-deploy disk zap node1 /dev/sdb /dev/sdc /dev/sdd
创建OSD
# ceph-deploy osd create node1 --data /dev/sdb
# ceph-deploy osd create node1 --data /dev/sdc
# ceph-deploy osd create node1 --data /dev/sdd
查看集群OSD信息
# ceph osd tree
查看集群状态
# ceph –s
如果提示：no active mgr，说明没有osd守护进程
# ceph-deploy mgr create node1 node2 node3
再次查看集群状态
# ceph –s
在node2、node3节点上创建monitor（node1上操作就可以）
# ceph-deploy mon add --address 192.168.26.20 node2
# ceph-deploy mon add --address 192.168.26.30 node3
# ceph mon stat ##会看到3个monitor
擦除分区信息node2、node3（node1上操作就可以）
# ceph-deploy disk zap node2 /dev/sdb /dev/sdc /dev/sdd
# ceph-deploy disk zap node3 /dev/sdb /dev/sdc /dev/sdd
在node2中创建OSD（node1上操作就可以）
# ceph-deploy osd create node2 --data /dev/sdb
# ceph-deploy osd create node2 --data /dev/sdc
# ceph-deploy osd create node2 --data /dev/sdd
如果报错：
[ERROR ] RuntimeError: bootstrap-osd keyring not found; run 'gatherkeys'
说明找不到osd的密钥。
# ceph-deploy gatherkeys node2
在ceph-node3中创建OSD（node1上操作就可以）
# ceph-deploy osd create node3 --data /dev/sdb
# ceph-deploy osd create node3 --data /dev/sdc
# ceph-deploy osd create node3 --data /dev/sdd
查看osd信息
# ceph osd tree
确认集群配置同步到了node2/node3
# ls /etc/ceph/
如果配置文件没有同步，使用下面命令（node1上操作就可以）
# ceph-deploy admin node2 node3
到这里，Ceph集群就配置完了，做个快照吧方便还原。
如何使用Cep集群，我们在下一篇文章中详细介绍。
包括创建/使用：块存储（rbd）、文件存储（cephfs）、对象存储（rgw）
UOS安装部署Ceph集群（二）_defaults,_netdev 0 0_小时候很牛、的博客