rook-ceph 使用常见问题

## 通过rook安装ceph

```
$ git clone --single-branch --branch master https://github.com/rook/rook.git
cd rook/deploy/examples
kubectl create -f crds.yaml -f common.yaml -f operator.yaml
kubectl create -f cluster.yaml

# 创建 rook 工具箱并使用
kubectl create -f toolbox.yaml
kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- bash

# 创建存储类
kubectl create -f csi/rbd/storageclass.yaml

# 测试使用存储
kubectl create -f mysql.yaml
kubectl create -f wordpress.yaml

# 查看卷声明
kubectl get pvc

# 卸载、清理演示数据
kubectl delete -f wordpress.yaml
kubectl delete -f mysql.yaml
kubectl delete -n rook-ceph cephblockpools.ceph.rook.io replicapool
kubectl delete storageclass rook-ceph-block

# 查看服务状态
kubectl -n rook-ceph get service
```

常用命令：
ceph status
ceph osd status
ceph df
rados df

## 查看卷

```
# 查看本地卷pv
$ kubectl get pv
NAME                CAPACITY    ACCESSMODES   RECLAIMPOLICY   STATUS      CLAIM     STORAGECLASS    REASON    AGE
local-pv-ce05be60   1024220Ki   RWO           Delete          Available             local-storage             26s

$ kubectl describe pv local-pv-ce05be60
```

## 删除 ods 并重新挂载

```
#查询状态，找到要移除的osd id
ceph osd status
#标记移除的osd
ceph osd out osd.1
ceph osd purge 1 --yes-i-really-mean-it
ceph osd crush remove osd.1
ceph auth rm osd.1
ceph osd rm osd.1
```

## 删除rook-ceph命名空间后一直卡在Terminating状态

源起：在 KubeSphere 页面上直接删除 rook-ceph 项目，过了十几分钟，仍然显示删除中。

查看所有命名空间的状态
```
# kubectl get ns
rook-ceph                         Terminating   19h

# 以json格式查看具体内容
# kubectl get namespace rook-ceph -o json
```
![](/media/202212/2022-12-15_093948_7510210.8344853347500211.png)

检查发现配置字段、保密字典、定制资源定义中仍然有数据关联着rook-ceph，且无法删除。

尝试[执行脚本](https://github.com/thyarles/knsk)，仍然无法彻底删除命名空间
```
wget -q https://raw.githubusercontent.com/thyarles/knsk/master/knsk.sh -O - | bash
./knsk.sh --dry-run --delete-all --force
```

### 最终解决方案

参考 [rook文档：清理集群](https://rook.io/docs/rook/v1.10/Getting-Started/ceph-teardown/#remove-critical-resource-finalizers)，按照文档中的步骤一步步执行，最终成功删除。

### 总结
遇到问题先查询官方文档，好的官方文档会对本产品可能会遇到的各种问题有明确的说明。

Rook 向对 Ceph 集群至关重要的资源添加终结器，这样资源就不会被意外删除。因此需要最终手动执行命令进行删除。