本篇文章介绍Ceph如何使用，

包括创建/使用：块存储（rbd）、文件存储（cephfs）、对象存储（rgw）

前4步详细介绍，请点击链接跳转。

实验过程：

    1、Ceph架构图  UOS安装部署Ceph集群（一）_[ceph_deploy][error ] runtimeerror: bootstrap-osd _小时候很牛、的博客

    2、实验环境说明  UOS安装部署Ceph集群（一）_[ceph_deploy][error ] runtimeerror: bootstrap-osd _小时候很牛、的博客

    3、Ceph集群基础环境调试  UOS安装部署Ceph集群（一）_[ceph_deploy][error ] runtimeerror: bootstrap-osd _小时候很牛、的博客

    4、创建Ceph集群  UOS安装部署Ceph集群（一）_[ceph_deploy][error ] runtimeerror: bootstrap-osd _小时候很牛、的博客

    5、块存储（rbd）

    6、文件存储（cephfs）

    7、对象存储（rgw）

5、块存储（rbd）

如无特殊说明，以下操作在client节点上

5.1 创建块设备

拷贝ceph集群密钥（在node1上操作）

# ceph-deploy admin client

查看集群

# rados lspools

创建新的池test1

# rados mkpool test1

# rados lspools

   

在test1池中创建块设备

# rbd create test1/rbd1 --image-format 1 --size 1024

查看池中的块设备信息

# rbd -p test1 ls

   

查看块设备详细信息

# rbd info test1/rbd1

   

5.2 映射块设备

把块设备rbd1映射到client

# rbd map --image test1/rbd1

   

查看哪些块设备映射到client

# rbd showmapped

   

块设备会被映射为一个设备使用，不需要进行分区

# lsblk

   

5.3 挂载块设备

格式化映射过来的块设备

# mkfs.xfs /dev/rbd0

   

挂载块设备

# mount /dev/rbd0 /mnt

# df -Th

   

5.4 设置开机自动挂载

修改fstab文件

# vi /etc/fstab

        /dev/rbd0    /mnt    xfs    defaults,_netdev    0 0

由于client重启后，块设备映射关系会丢失，我们把映射命令卸载rc.local文件中

# echo rbd map --image test1/rbd1 >> /etc/rc.local

# chmod +x /etc/rc.local

# vi /lib/systemd/system/rc-local.service

        [Install]

        WantedBy=multi-user.target

# systemctl restart rc.local.service && systemctl enable rc.local.service

重启client后，df 查看验证

5.5 附加：删除块设备

卸载挂载点

# umount /xx

删除映射关系

# rbd unmap /dev/rbd1

# rbd showmapped

删除块设备

# rbd rm test1/rbd1

# lsblk

到这里，rbd存储就完成了，记得做快照

6、文件存储（cephfs）

如无特殊说明，以下操作在node2节点上

6.1 安装ceph-mds

# cd /etc/ceph

# apt -y install ceph-mds

创建MDS

# ceph-deploy mds create node2

   

查看MDS运行状态

# service ceph status mds

   

6.2 创建cephfs文件系统

必须存在2个池：cephfs_data、cephfs_metadata

# ceph osd pool create cephfs_data 64 64

        第一个64，代表pg数量

        第二个64，代表pgp数量

   

# ceph osd pool create cephfs_metadata 64 64

查看池信息

# rados lspools

   

给池创建文件系统

# ceph fs new cephfs cephfs_metadata cephfs_data

# ceph mds stat

   

# service ceph status mds

6.3 挂载文件系统

如无特殊说明，以下操作在client上

安装fuse工具

# apt -y install ceph-fuse

# ceph-fuse --keyring /etc/ceph/ceph.client.admin.keyring --name client.admin -m node1:6789 /mnt

# df -Th

设置开机自动挂载

# vi /etc/fstab

        id=admin   /mnt    fuse.ceph    defaults    0  0

# mount -a

# reboot

到这里，cephfs存储就完成了，记得做快照

7、对象存储（rgw）

如无特殊说明，以下操作在node3上

7.1 安装/创建rgw

# apt -y install radosgw

# ceph-deploy rgw create node3

查看rgw的运行状态

# /etc/init.d/ceph status radosgw

# netstat -nutlp |grep 7480

浏览器访问rgw存储（在client上）

    192.168.26.130:7480

7.2 创建rgw存储的池

# ceph osd pool create object1 128

查看池

# ceph osd lspools

7.3 上传文件测试

如无特殊说明，以下操作在client上

本地创建一个文件后，上传到rgw存储

# mkdir /1.txt

# rados put objectfile /1.txt -p object1

查看存储池内的文件

# rados -p object1 ls

查看集群状态

# ceph -s

查看文件保存路径

# ceph osd map object1 1.txt

到这里，对象存储就完成了，记得做快照