Ceph 中国社区首次北京站沙龙技术演讲活动PPT

1. Ceph运维及案例分享
武宇亭

2. 目录
Ceph 服务进程管理
Scaling out Ceph集群
Scaling down Ceph集群
Ceph集群更换磁盘
Ceph运维案例

3. Ceph服务进程管理
 按类型管理
 service ceph start/stop mon
 service ceph start/stop osd
 service ceph stop/start
 管理特定进程
 service ceph start/stop osd.X
 service ceph start/stop mon.YYY

4. Ceph服务进程管理
 启动Ceph集群
 首先启动mon服务
 然后启动osd服务
 停止Ceph集群
 首先停止osd服务
 然后停止mon服务

5. 目录
Ceph 服务进程管理
Scaling out Ceph集群
Scaling down Ceph集群
Ceph集群更换磁盘
Ceph运维案例

6. Scaling out Ceph集群
 编辑ceph.conf，添加新的OSD配置，并同步到所
有节点
vim ceph.conf
[osd.X]
osd host = hostname
osd journal = XXX
…
 向Ceph集群中添加OSD
ceph-disk prepare
ceph-disk activate

7. Scaling out Ceph集群
 编辑crushmap，将新增的osd归入合适的bucket
ceph osd getcrushmp –o map1
crushtool –d map1 –o map2
vim map2
crushtool –c map2 –o map3
 合适的时刻导入crushmap触发数据迁移
ceph osd setcrushamp –i map3

8. 目录
Ceph 服务进程管理
Scaling out Ceph集群
Scaling down Ceph集群
Ceph集群更换磁盘
Ceph运维案例

9. Scaling down Ceph集群
 编辑crushmap，在对应的bucket中去掉osd
ceph osd getcrushmp –o map1
crushtool –d map1 –o map2
cp map2 map2.bak
vim map2
crushtool –c map2 –o map3
 合适的时刻导入crushmap触发数据迁移
ceph osd setcrushamp –i map3

10. Scaling down Ceph集群
 在ceph集群中去掉osd
ceph osd out X
service ceph stop osd.X
ceph osd crush remove osd.X
ceph auth del osd.X
ceph osd rm X
 编辑ceph.conf并同步到所有节点
vim ceph.conf

11. 目录
Ceph 服务进程管理
Scaling out Ceph集群
Scaling down Ceph集群
Ceph集群更换磁盘
Ceph运维案例

12. Ceph集群更换磁盘
 在ceph集群中去掉坏掉的osd
ceph osd out X
ceph osd crush remove osd.X
ceph auth del osd.X
ceph osd rm X
 更换磁盘
 创建新的OSD
ceph-disk prepare
ceph-disk activate

13. 目录
Ceph 服务进程管理
Scaling out Ceph集群
Scaling down Ceph集群
Ceph集群更换磁盘
Ceph运维案例

14. Ceph运维Scaling down案例
 环境描述
Server1
Server2
Server7
Rack1
Server3
Server4
Server8
Rack2
Server5
Server6
Server9
Rack3

15. Ceph运维Scaling down案例
方案一、在每个Rack中直接移除host
结果：失败
原因：数据迁移到一定程度以后就会停止，因为每个
OSD要求保留一定的空间

16. Ceph运维Scaling down案例
方案二、依次移除host上的OSD
结果：失败
原因：由于部分OSD权重设置有误，个别OSD磁盘写
满，导致OSD进程异常。

17. Ceph运维Scaling down案例
方案三、重新调整Crushmap后再移除
结果：成功
Server1
Server2
Server7
Rack1
Server3
Server4
Server8
Rack2
Server5
Server6
Server9
Rack3
Server3
Server4
Server1
Server2
Server3
Server4

18. THX