这是我参与更文挑战的第3天,活动详情查看: 更文挑战
收到测试环境集群告警,登陆K8s集群进行排查。
二 故障定位
2.1 查看pod
查看kube-system node2节点calico pod异常
2.2 查看存储
- 登陆node2查看服务器存储信息,目前空间还很充足
三 操作
3.1 ceph修复
目前查看到ceph集群异常,可能导致node2节点cgroup泄露异常,进行手动修复ceph集群。
数据的不一致性(inconsistent)指对象的大小不正确、恢复结束后某副本出现了对象丢失的情况。数据的不一致性会导致清理失败(scrub error)。
CEPH在存储的过程中,由于特殊原因,可能遇到对象信息大小和物理磁盘上实际大小数据不一致的情况,这也会导致清理失败。
ceph pg repair 1.7c复制代码