分布式存储Ceph的快速安装方法

1. 引言

Ceph是一个开源的分布式存储系统，旨在提供高性能、高可靠性和可扩展性的存储解决方案。它支持对象存储、块存储和文件系统存储，广泛应用于云计算、大数据和容器化环境中。本文将详细介绍如何快速安装和配置Ceph集群，帮助用户快速上手并部署Ceph存储系统。

2. 环境准备

在开始安装Ceph之前，需要确保满足以下环境要求：

2.1 硬件要求

• 节点数量：至少3个节点（1个管理节点，2个OSD节点）。
• CPU：每个节点至少4核。
• 内存：每个节点至少8GB。
• 存储：每个OSD节点至少1块硬盘用于OSD存储。

2.2 软件要求

• 操作系统：Ubuntu 20.04 LTS 或 CentOS 8。
• 网络：节点之间网络互通，建议使用千兆或更高带宽的网络。
• SSH：确保节点之间可以通过SSH无密码访问。

2.3 系统配置

1. 更新系统：

   sudo apt update && sudo apt upgrade -y
   

   或

   sudo yum update -y
   

2. 设置主机名：

   sudo hostnamectl set-hostname <hostname>
   

3. 配置/etc/hosts： 在每个节点的/etc/hosts文件中添加所有节点的IP和主机名映射：

   192.168.1.101 ceph-admin
   192.168.1.102 ceph-osd1
   192.168.1.103 ceph-osd2
   

4. 配置SSH无密码登录： 在管理节点上生成SSH密钥并分发到其他节点：

   ssh-keygen -t rsa
   ssh-copy-id ceph-admin
   ssh-copy-id ceph-osd1
   ssh-copy-id ceph-osd2
   

3. 安装Ceph

3.1 添加Ceph仓库

在管理节点上添加Ceph的官方仓库：

• Ubuntu：

  wget -q -O- 'https://download.ceph.com/keys/release.asc' | sudo apt-key add -
  echo deb https://download.ceph.com/debian-octopus/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list
  sudo apt update
  

• CentOS：

  sudo yum install -y https://download.ceph.com/rpm-octopus/el8/noarch/ceph-release-1-1.el8.noarch.rpm
  sudo yum update -y
  

3.2 安装Ceph部署工具

在管理节点上安装ceph-deploy工具：

• Ubuntu：

  sudo apt install -y ceph-deploy
  

• CentOS：

  sudo yum install -y ceph-deploy
  

3.3 创建Ceph集群

1. 创建集群目录：

   mkdir ~/ceph-cluster
   cd ~/ceph-cluster
   

2. 初始化集群：

   ceph-deploy new ceph-admin ceph-osd1 ceph-osd2
   

3. 安装Ceph软件包：

   ceph-deploy install ceph-admin ceph-osd1 ceph-osd2
   

4. 部署监控节点：

   ceph-deploy mon create-initial
   

5. 部署OSD：

   ceph-deploy osd create --data /dev/sdb ceph-osd1
   ceph-deploy osd create --data /dev/sdb ceph-osd2
   

6. 分发配置文件和密钥：

   ceph-deploy admin ceph-admin ceph-osd1 ceph-osd2
   

7. 设置权限：

   sudo chmod +r /etc/ceph/ceph.client.admin.keyring
   

4. 验证集群状态

1. 检查集群健康状态：

   ceph -s
   

   输出应显示HEALTH_OK。

2. 查看OSD状态：

   ceph osd status
   

3. 查看监控节点状态：

   ceph mon stat
   

5. 配置Ceph集群

5.1 配置CRUSH Map

CRUSH Map用于定义数据在集群中的分布策略。可以通过以下命令查看和编辑CRUSH Map：

1. 获取CRUSH Map：

   ceph osd getcrushmap -o crushmap.txt
   crushtool -d crushmap.txt -o crushmap-decompiled.txt
   

2. 编辑CRUSH Map：

   vi crushmap-decompiled.txt
   

3. 编译并应用CRUSH Map：

   crushtool -c crushmap-decompiled.txt -o crushmap-compiled.txt
   ceph osd setcrushmap -i crushmap-compiled.txt
   

5.2 配置Pool

Pool是Ceph中用于存储数据的逻辑分区。可以通过以下命令创建和配置Pool：

1. 创建Pool：

   ceph osd pool create mypool 128
   

2. 设置Pool副本数：

   ceph osd pool set mypool size 3
   

3. 查看Pool状态：

   ceph osd pool stats mypool
   

6. 使用Ceph

6.1 对象存储

1. 创建RADOS Gateway：

   ceph-deploy rgw create ceph-admin
   

2. 访问RADOS Gateway： 通过HTTP访问RADOS Gateway的默认端口7480：

   curl http://ceph-admin:7480
   

6.2 块存储

1. 创建RBD Pool：

   ceph osd pool create rbd 128
   rbd pool init rbd
   

2. 创建RBD镜像：

   rbd create myimage --size 1024 --pool rbd
   

3. 映射RBD镜像：

   rbd map myimage --pool rbd
   

4. 格式化并挂载RBD镜像：

   mkfs.ext4 /dev/rbd/rbd/myimage
   mount /dev/rbd/rbd/myimage /mnt
   

6.3 文件系统存储

1. 创建CephFS Pool：

   ceph osd pool create cephfs_data 128
   ceph osd pool create cephfs_metadata 64
   

2. 创建CephFS：

   ceph fs new myfs cephfs_metadata cephfs_data
   

3. 挂载CephFS：

   mount -t ceph ceph-admin:6789:/ /mnt -o name=admin,secretfile=/etc/ceph/ceph.client.admin.keyring
   

7. 常见问题与解决方案

7.1 集群健康状态异常

• 问题：HEALTH_WARN或HEALTH_ERR。
• 解决方案：检查日志文件/var/log/ceph/ceph.log，根据日志提示进行修复。

7.2 OSD状态异常

• 问题：OSD状态为down或out。
• 解决方案：检查OSD节点的硬盘状态和网络连接，确保OSD服务正常运行。

7.3 监控节点故障

• 问题：监控节点无法启动或状态异常。
• 解决方案：检查监控节点的配置文件/etc/ceph/ceph.conf，确保配置正确，并重启监控服务。

8. 总结

通过本文的步骤，用户可以快速安装和配置一个基本的Ceph集群，并了解如何使用Ceph提供的对象存储、块存储和文件系统存储功能。Ceph的灵活性和可扩展性使其成为构建大规模分布式存储系统的理想选择。希望本文能帮助读者顺利部署Ceph，并在实际应用中发挥其强大的存储能力。