Ceph集群管理

集群容量使用情况

[cephuser@ceph-admin ~]$ sudo ceph df
GLOBAL:
    SIZE       AVAIL      RAW USED     %RAW USED 
    46046M     45723M         323M          0.70 
POOLS:
    NAME                ID     USED      %USED     MAX AVAIL     OBJECTS 
    rbd                 0          0         0        14473M           0 
    cephfs_data         1          5         0        14473M           1 
    cephfs_metadata     2      11140         0        14473M          20

输出的GLOBAL段显示了数据所占用集群存储空间概况。

• SIZE: 集群的总容量
• AVAIL: 集群的总空闲容量
• RAW USED: 已用存储空间总量
• %RAW USED: 已用存储空间百分比

输出的POOLS段展示了存储池列表及各存储池的大致使用率。本段没有展示副本、克隆品和快照占用情况。 例如,把1MB的数据存储为对象,理论使用量将是1MB,但考虑到副本数、克隆数、和快照数,实际使用量可能是2MB或更多。

• NAME: 存储池名
• ID: 存储池唯一标识符
• USED: 使用量,单位可为KB、MB或GB,以输出结果为准
• %USED: 存储池的使用率
• MAX AVAIL: 存储池的最大可用空间
• OBJECTS: 存储池内的object个数

注：POOLS 段内的数字是理论值,它们不包含副本、快照或克隆。因此,它与USED和%USED数量之和不会达到GLOBAL段中的RAW USED和 %RAW USED数量。

查看集群OSD配置

• 查看OSD容量的使用情况

[cephuser@ceph-admin ~]$ sudo ceph osd df
ID WEIGHT  REWEIGHT SIZE   USE  AVAIL  %USE VAR  PGS 
 0 0.01459  1.00000 15348M 107M 15241M 0.70 1.00  84 
 1 0.01459  1.00000 15348M 108M 15240M 0.70 1.00  84 
 2 0.01459  1.00000 15348M 108M 15240M 0.70 1.00  84 
              TOTAL 46046M 323M 45723M 0.70          
MIN/MAX VAR: 1.00/1.00  STDDEV: 0

从输出结果可以看到每个OSD的总容量、当前使用量以及可用容量等信息。

• 查看OSD在集群布局中的设计分布

[cephuser@ceph-admin ~]$ sudo ceph osd tree
ID WEIGHT  TYPE NAME           UP/DOWN REWEIGHT PRIMARY-AFFINITY 
-1 0.04376 root default                                          
-2 0.01459     host ceph-node1                                   
 0 0.01459         osd.0            up  1.00000          1.00000 
-3 0.01459     host ceph-node2                                   
 1 0.01459         osd.1            up  1.00000          1.00000 
-4 0.01459     host ceph-node3                                   
 2 0.01459         osd.2            up  1.00000          1.00000

从输出结果可以看到每个OSD的位置分布情况,默认的CRUSHMAP中,OSD按照所在的主机节点分布,可以通过修改CRUSHMAP进行定制化分布设计。同时可以看到每个OSD的WEIGHT值,WEIGHT值与OSD的容量相关,1TB容量换算WEIGHT值为1.0。

• 查看OSD的dump概况

[cephuser@ceph-admin ~]$ sudo ceph osd dump
epoch 19
fsid c685bc90-f231-4d05-a9b9-5fafb6c1a6e2
created 2020-07-14 15:21:50.289565
modified 2020-07-14 15:46:06.155305
flags sortbitwise,require_jewel_osds
pool 0 'rbd' replicated size 3 min_size 2 crush_ruleset 0 object_hash rjenkins pg_num 64 pgp_num 64 last_change 1 flags hashpspool stripe_width 0
pool 1 'cephfs_data' replicated size 3 min_size 2 crush_ruleset 0 object_hash rjenkins pg_num 10 pgp_num 10 last_change 19 flags hashpspool crash_replay_interval 45 stripe_width 0
pool 2 'cephfs_metadata' replicated size 3 min_size 2 crush_ruleset 0 object_hash rjenkins pg_num 10 pgp_num 10 last_change 17 flags hashpspool stripe_width 0
max_osd 3
osd.0 up   in  weight 1 up_from 4 up_thru 17 down_at 0 last_clean_interval [0,0) 10.10.1.7:6800/12282 10.10.1.7:6801/12282 10.10.1.7:6802/12282 10.10.1.7:6803/12282 exists,up 63ee8bf0-27b2-4602-86af-baf44a461e53
osd.1 up   in  weight 1 up_from 8 up_thru 17 down_at 0 last_clean_interval [0,0) 10.10.1.8:6800/2550 10.10.1.8:6801/2550 10.10.1.8:6802/2550 10.10.1.8:6803/2550 exists,up 0c1a074d-9131-4af8-8b23-3e11640ebd60
osd.2 up   in  weight 1 up_from 12 up_thru 17 down_at 0 last_clean_interval [0,0) 10.10.1.9:6800/2533 10.10.1.9:6801/2533 10.10.1.9:6802/2533 10.10.1.9:6803/2533 exists,up b62723c4-e327-4469-adc2-2670f7d676f7

OSD dump输出的条目较多,基本可以分为三个部分：
输出OSDmap信息,包括版本号、集群ID以及map相关的时间;
POOL的相关信息,包括POOL ID、POOL名称、副本数、最小副本数、ruleset ID等信息;
列出所有OSD的状态等信息,包括OSD ID、状态、状态版本记录以及被监听的IP地址及端口等信息。