Kubernetes如何共享Ceph存储

发布时间：2022-02-19 09:18:13 作者：iii
来源：亿速云阅读：202

# Kubernetes如何共享Ceph存储

## 引言

在云原生应用架构中，持久化存储是支撑有状态服务的关键组件。Ceph作为开源的统一分布式存储系统，与Kubernetes的结合为企业提供了高性能、高可靠的存储解决方案。本文将深入探讨Kubernetes如何通过多种方式集成Ceph存储，实现跨Pod的数据共享。

## 第一部分：Ceph存储基础架构

### 1.1 Ceph核心组件

Ceph存储集群由以下核心组件构成：
- **MON (Monitor)**：维护集群状态映射的守护进程
- **OSD (Object Storage Daemon)**：实际处理数据存储的节点
- **MDS (Metadata Server)**：为CephFS提供元数据服务
- **RGW (RADOS Gateway)**：提供对象存储接口

```mermaid
graph TD
    A[Client] -->|读写请求| B(Monitor)
    B --> C[OSD Nodes]
    C --> D[物理磁盘]

1.2 Ceph存储类型

Kubernetes可集成的Ceph存储形式： 1. RBD (RADOS Block Device)：块存储接口 2. CephFS：符合POSIX标准的文件系统 3. RGW (通过S3 API)：对象存储方案

第二部分：Kubernetes集成Ceph RBD

2.1 前置准备

# 在Ceph管理节点创建专用于K8s的存储池
ceph osd pool create kube_pool 128 128
ceph auth get-or-create client.kube mon 'allow r' osd 'allow rwx pool=kube_pool'

2.2 静态配置示例

创建Secret存储Ceph认证信息：

apiVersion: v1
kind: Secret
metadata:
  name: ceph-secret
type: "kubernetes.io/rbd"  
data:
  key: QVFCMTZWVmRCandDRVJBQWgvS2cwMmNjcUt6Z2J5Rk5YWUE9PQ==

定义PV/PVC：

apiVersion: v1
kind: PersistentVolume
metadata:
  name: ceph-rbd-pv
spec:
  capacity:
    storage: 10Gi
  accessModes:
    - ReadWriteOnce
  rbd:
    monitors:
      - 10.0.0.1:6789
    pool: kube_pool
    image: kube-image
    user: kube
    secretRef:
      name: ceph-secret
    fsType: ext4
  persistentVolumeReclaimPolicy: Retain

2.3 动态供给配置

使用StorageClass实现动态供给：

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: ceph-rbd-sc
provisioner: rbd.csi.ceph.com
parameters:
  clusterID: ceph-cluster
  pool: kube_pool
  imageFeatures: layering
  csi.storage.k8s.io/provisioner-secret-name: ceph-csi-secret
  csi.storage.k8s.io/node-stage-secret-name: ceph-csi-secret
reclaimPolicy: Delete

第三部分：Kubernetes集成CephFS

3.1 静态配置方法

apiVersion: v1
kind: PersistentVolume
metadata:
  name: cephfs-pv
spec:
  capacity:
    storage: 20Gi
  accessModes:
    - ReadWriteMany
  cephfs:
    monitors:
      - 10.0.0.1:6789
    path: /kube_share
    user: admin
    secretRef:
      name: ceph-secret
    readOnly: false

3.2 动态供给方案

使用Ceph CSI驱动实现动态供给：

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: cephfs-sc
provisioner: cephfs.csi.ceph.com
parameters:
  clusterID: ceph-cluster
  fsName: my-cephfs
  pool: cephfs_data
  csi.storage.k8s.io/provisioner-secret-name: ceph-csi-secret
  csi.storage.k8s.io/node-stage-secret-name: ceph-csi-secret
reclaimPolicy: Delete

第四部分：多节点共享存储实践

4.1 读写共享场景

apiVersion: apps/v1
kind: Deployment
metadata:
  name: shared-app
spec:
  replicas: 3
  template:
    spec:
      containers:
      - name: app
        image: nginx
        volumeMounts:
        - name: shared-data
          mountPath: /usr/share/nginx/html
      volumes:
      - name: shared-data
        persistentVolumeClaim:
          claimName: cephfs-pvc

4.2 性能优化技巧

客户端缓存配置：

cephfs:
  ...
  mountOptions:
    - name: _netdev
    - rsize=1048576
    - wsize=1048576

QoS限制：

ceph osd pool set-quota kube_pool max_bytes $((100 * 1024 * 1024 * 1024))

第五部分：安全与权限管理

5.1 最小权限原则

# 创建受限权限用户
ceph auth add client.kube-restricted mon 'allow r' osd 'allow rw pool=kube_pool namespace=restricted_ns'

5.2 网络隔离方案

# Calico网络策略示例
apiVersion: projectcalico.org/v3
kind: NetworkPolicy
metadata:
  name: ceph-access
spec:
  selector: app in {'db', 'storage'}
  ingress:
  - action: Allow
    protocol: TCP
    source:
      selector: app == 'web'
    destination:
      ports: [6789, 6800-7300]

第六部分：监控与运维

6.1 Prometheus监控配置

- job_name: 'ceph'
  static_configs:
    - targets: ['ceph-monitor:9283']
  metrics_path: /metrics

6.2 常见问题处理

问题现象：Pod挂载超时
排查步骤： 1. 检查Ceph集群状态 ceph -s 2. 验证网络连通性 nc -zv ceph-monitor 6789 3. 检查kernel模块加载 lsmod | grep ceph

第七部分：最佳实践建议

版本兼容性矩阵：

Kubernetes版本 Ceph版本 CSI驱动版本

1.20+ Nautilus v3.3+

1.23+ Pacific v3.5+
容量规划原则：
- 预留20%的物理容量用于恢复
- 每个OSD建议不超过5TB数据
备份策略示例：

Kubernetes版本	Ceph版本	CSI驱动版本
1.20+	Nautilus	v3.3+
1.23+	Pacific	v3.5+

rbd export kube_pool/kube_volume@$(date +%F) backup.img

结语

通过本文介绍的多种集成方式，Kubernetes可以灵活地利用Ceph提供持久化存储服务。在实际生产环境中，建议： 1. 开发测试环境优先使用动态供给的CephFS 2. 生产环境关键数据库建议使用RBD块存储 3. 定期监控存储集群的剩余容量和性能指标

随着CSI驱动的持续完善，Kubernetes与Ceph的集成将更加紧密，为云原生应用提供更强大的存储能力支撑。 “`

注：本文实际约2800字，可根据需要调整具体配置参数部分的详细程度来达到精确字数要求。建议在实际使用时： 1. 补充具体的版本号信息 2. 添加企业实际案例 3. 插入性能测试数据图表 4. 扩展故障恢复章节的详细步骤