ETCD集群运维—备份及容灾恢复

etcd是一个开源的分布式键值对数据库，他的每一个节点都有一份数据的copy，当有节点故障时保证了高可用性。etcd使用Raft算法来保证一致性。

特别提醒：若使用v3备份数据时存在v2的数据则不影响恢复

若使用v2备份数据时存在v3的数据则恢复失败

etcd V2新增节点(删除数据后重新加入)

适用于单节点故障，重新加入集群

V2与V3新增节点的区别仅在于member add参数

停止etcd服务

# systemctl stop etcd

# 清空etcd data数据

# mv /var/lib/etcd/default.etcd /tmp

# 查看etcd列表

# /opt/kubernetes/bin/etcdctl --ca-file=ca.pem --cert-file=server.pem --key-file=server-key.pem --endpoints="https://172.30.0.89:2379,https://172.30.0.81:2379,https://172.30.2.10:2379" member list

# remove 已存在的etcd name

# /opt/kubernetes/bin/etcdctl --ca-file=ca.pem --cert-file=server.pem --key-file=server-key.pem --endpoints="https://172.30.0.89:2379,https://172.30.0.81:2379,https://172.30.2.10:2379" member remove a4ec138b3529c929

# 新增etcd节点

# V2

# /opt/kubernetes/bin/etcdctl --ca-file=/opt/kubernetes/ssl/ca.pem --cert-file=/opt/kubernetes/ssl/server.pem --key-file=/opt/kubernetes/ssl/server-key.pem member add etcd03 https://172.30.0.89:2380

# V3

# ETCDCTL_API=3  /opt/kubernetes/bin/etcdctl --endpoints=https://172.30.2.10:2379,etcd02=https://172.30.0.81:2379,etcd03=https://172.30.0.89:2379  --cacert=/opt/kubernetes/ssl/ca.pem   --cert=/opt/kubernetes/ssl/server.pem   --key=/opt/kubernetes/ssl/server-key.pem  member add  etcd03 --peer-urls="https://172.30.0.89:2380" 

# 修改该节点etcd配置ETCD_INITIAL_CLUSTER_STATE="existing"

# 同时重启所有etcd

# systemctl restart etcd

etcd数据备份恢复（集群不可用，灾难恢复）

注意：单节点备份一份当前或历史数据即可，在恢复的时候需要同步到所有节点，若只想恢复一台节点的，则会在系统日志里报request cluster ID mismatch

没有节点加入，因为是会创建一个新的集群id ，相当于重新搭建一台新的cluster（数据保留，cluster id变更）

# 停止apiserver（集群不可用状态，确认无写入的话也可以不停）

# 停止etcd服务

systemctl stop etcd

# 数据备份

# ETCDCTL_API=3 /opt/kubernetes/bin/etcdctl snapshot  save /var/lib/etcd/etcd_backup/etcd_$(date "+%Y%m%d%H%M%S").db

# 同步备份数据到各个节点

# scp etcd_$(date "+%Y%m%d%H%M%S").db  集群各etcd节点

# 移除数据目录 

mv /var/lib/etcd/default.etcd /tmp

# 快照恢复数据  修改name 和 initial-advertise-peer-urls为当前节点的即可

# ETCDCTL_API=3 /opt/kubernetes/bin/etcdctl snapshot --cacert=/opt/kubernetes/ssl/ca.pem --cert=/opt/kubernetes/ssl/server.pem --key=/opt/kubernetes/ssl/server-key.pem  restore /var/lib/etcd/etcd_20190903102702.db --name=etcd01 --data-dir=/var/lib/etcd/default.etcd --initial-cluster="etcd01=https://172.30.2.10:2380,etcd02=https://172.30.0.81:2380,etcd03=https://172.30.0.89:2380" --initial-cluster-token="etcd-cluster" --initial-advertise-peer-urls=https://172.30.2.10:2380

# 重启etcd