您好,登录后才能下订单哦!
本篇文章给大家分享的是有关ceph-ansible 中怎么快速部署 ceph,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。
操作系统:CentOS 7.6, 需要 4 个节点(1 monitor + 3 osd node)或者 6 个节点(3 monitor +3 osd node), 当然 monitor 也可以部署在 osd node 上。
ceph版本:Luminous(12.2.11),使用 centos 官方 storage repo 里的版本
ansible 版本: 2.6.16 (可使用 virtualenv 和 pip 安装, 版本必须与 ceph-ansible 要求匹配)
ceph-ansible 版本: 3.2.15 (直接在 github 上 下载相应的版本)
集群网络(cluster network): 192.168.122.0/24, 用于集群内数据同步及存储管理
服务网络(public network) : 10.0.122.0/24, 用于客户端读写数据
准备 7 ceph个集群节点,3个 monitor 节点,3 个 osd 节点,1 个 admin 节点,每个节点双网卡,ip配置如下
节点 cluster ip public ip -------------------------------------- mon-11 192.168.122.11 mon-12 192.168.122.12 mon-13 192.168.122.13 osd-21 10.0.122.21 192.168.122.21 osd-22 10.0.122.22 192.168.122.22 osd-23 10.0.122.23 192.168.122.23 admin-node 192.168.122.100 --------------------------------------
monitor 节点是不需要 cluster ip 的,它只需要 public network。因为我们要在线软件源,因此 public network 一定要能访问公网。
admin-node 做部署节点,安装 ansible 和 ceph-ansible
在 admin-node 节点上配置 /etc/hosts
192.168.122.11 mon-11 192.168.122.12 mon-12 192.168.122.13 mon-13 192.168.122.21 osd-21 192.168.122.22 osd-22 192.168.122.23 osd-23
在 admin-node 配置与 6 个ceph节点的 ssh 免密登录,例如:
# ssh-keygen # ssh-copy-id root@mon-11
禁用 firewalld
# systemctl stop firewalld # systemctl disable firewalld
禁用 selinux,重使其生效
# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config # reboot
以下是一个 osd 节点上的磁盘列表, 其中 vda 是操作系统所在的盘。
sda 8:0 0 100G 0 disk sdb 8:16 0 100G 0 disk sdc 8:32 0 100G 0 disk sdd 8:48 0 20G 0 disk vda 252:0 0 40G 0 disk ├─vda1 252:1 0 1G 0 part /boot └─vda2 252:2 0 39G 0 part ├─centos-root 253:0 0 35G 0 lvm / └─centos-swap 253:1 0 4G 0 lvm [SWAP]
ceph luminous 已经支持 bluestore 作为后端,但是我们这次还是使用 filestore。 其中 sda、sdb、sdc 作为 osd 盘,每块盘 100G, sdd 做 journal 盘,大小 20G
所有的集群节点上上,安装如下软件:
# yum install centos-release-luminous-* epel-release -y
安装完成以后,刷新源索引
# yum repolist
在 admin-node 上进行如下操作
安装 anible
$ yum install python-pip -y $ pip install ansible==2.6.16
获取 ceph-ansible 并解压
$ wget https://codeload.github.com/ceph/ceph-ansible/zip/v3.2.15
创建 ansible_hosts 文件, 复制到 ceph-ansible 文件夹
[ceph:children] mons osds [mons] mon-11 mon-12 mon-13 [osds] osd-21 osd-22 osd-23
打开解压后的ceph-ansible
# cp site.yml.sample site.yml
编辑 site.yml 文件, 更改开头的目标节点组,只保留 mons 和 osds
--- # Defines deployment design and assigns role to server groups - hosts: - mons - osds # - mdss # - agents # - mgrs # - rgws # - nfss # - restapis # - rbdmirrors # - clients # - iscsigws # - iscsi-gws # for backward compatibility only!
打开 group_vars 目录, 拷贝模板文件
# cd group_vars # cp all.yml.sample all.yml # cp mons.yml.sample mons.yml # cp osds.yml.sample osds.yml
编辑 all.yml 文件, 我只做了如下更改,也许不用改这么多。另外 monitor 节点必须用 public ip,因为要面向客户端提供服务。
# Inventory host group variables mon_group_name: mons osd_group_name: osds ############ # PACKAGES # ############ centos_package_dependencies: - python-pycurl - epel-release - python-setuptools - libselinux-python upgrade_ceph_packages: False #ceph_use_distro_backports: false # DEBIAN ONLY ########### # INSTALL # ########### #ceph_repository_type: dummy ceph_origin: distro ## Monitor options monitor_interface: eth2 #monitor_address: 0.0.0.0 monitor_address_block: 10.0.122.0/24 ## OSD options journal_size: 3072 # OSD journal size in MB #block_db_size: -1 # block db size in bytes for the ceph-volume lvm batch. -1 means use the default of 'as big as possible'. public_network: 10.0.122.0/24 cluster_network: 192.168.122.0/24 #osd_mkfs_type: xfs #osd_mkfs_options_xfs: -f -i size=2048 #osd_mount_options_xfs: noatime,largeio,inode64,swalloc osd_objectstore: filestore
编辑 osds.yml 文件,里面有几种情景,我们用的是情景二 non-collocated,也就是日志和数据存放在不同的磁盘上。
--- # Variables here are applicable to all host groups NOT roles osd_scenario: non-collocated devices: - /dev/sda - /dev/sdb - /dev/sdc dedicated_devices: - /dev/sdd - /dev/sdd - /dev/sdd # 这样配置的后果就是,/dev/sdd 上会新生成三个分区 /dev/sdd1、/dev/sdd2、/dev/sdd3, # 分别作为 /dev/sda, /dev/sdb, /dev/sdc 的journal 分区。
因为我们只是简单的实验集群,所以不需要对 mons.yml 做特殊配置,保持默认就可以了。
退回到 ceph-ansible 目录,开始部署,等待部署完成。
# ansible-playbook site.yml -u root -i ./ansible_hosts
部署完成后,登录一个 mon节点, 查看集群状态和 osd daemon 分布
# ceph -w # ceph osd tree
以上就是ceph-ansible 中怎么快速部署 ceph,小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注亿速云行业资讯频道。
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。