如何使用ACM实现zookeeper依赖服务的透明Failover迁移

发布时间:2021-12-23 17:48:35 作者:柒染
来源:亿速云 阅读:105

如何使用ACM实现zookeeper依赖服务的透明Failover迁移,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。

使用ACM实现zookeeper依赖服务的透明Failover迁移

场景介绍

在一个数据中心里,一个zookeeper集群常常会服务多条业务线或者业务系统,每个业务线或者业务系统有自己的开发团队,而zookeeper这类公共服务则会有专门的运维或者团队负责保障其服务可用性和连续性。

业务应用通过Apache Curator客户端或者原生的zookeeper客户端访问zookeeper服务,在这个过程中,必须在应用程序里指定connectString,即zookeeper服务所在的机器的ip列表, 代码示例如下:

		final String connectString = "192.168.1.151:2181,192.168.1.152:2181,192.168.1.153:2181,192.168.1.154:2181,192.168.1.155:2181";
		final int sessionTimeoutInMs = 15000;
		final int connectionTimeoutInMs = 1000;
		final String appNs = "app1";

		CuratorFrameworkFactory.Builder builder = CuratorFrameworkFactory.builder();
		
		CuratorFramework zkClient = builder
				       .connectString(connectString)
				       .connectionTimeoutMs(connectionTimeoutInMs)
				       .sessionTimeoutMs(sessionTimeoutInMs)
				       .namespace(appNs)
				       .retryPolicy(new RetryNTimes(6, 100))
				       .build();
		
		zkClient.start();

但在zookeeper的生产运行过程中,zookeeper服务集群可能会遇到机器故障,机器迁移等情况,这个过程则需要zookeeper运维人员替换节点,将服务迁移到新的ip节点,整个流程,如下图所示,

如何使用ACM实现zookeeper依赖服务的透明Failover迁移

方案1 使用DNS或者VIP的服务发现方案

该方案如图所示: 如何使用ACM实现zookeeper依赖服务的透明Failover迁移

在这个方案中,可以将zk服务ip挂在一个dns域名或者vip上. 这样在zookeeper替换节点时,应用无感知,这个方案即服务发现方案。

方案2 使用ACM方案

我们将zookeeper集群的服务ip列表,连接超时,session超时参数,chroot,当前的用户名,密码等放在一个ACM配置里。

如何使用ACM实现zookeeper依赖服务的透明Failover迁移

然后通过ACM SDK监听这个配置的变更,这里我们可以使用curator client提供的EnsembleProvider功能来结合ACM达到动态监听配置服务ip列表变更的效果。

示例代码如下

import java.io.IOException;
import java.io.StringReader;
import java.util.Properties;
import java.util.concurrent.Executor;
import java.util.concurrent.Executors;
import java.util.concurrent.atomic.AtomicReference;
import org.apache.curator.ensemble.EnsembleProvider;
import com.alibaba.edas.acm.listener.ConfigChangeListener;
import com.alibaba.edas.acm.ConfigService;
import com.alibaba.edas.acm.exception.ConfigException;

public class ACMEnsembleProvider implements EnsembleProvider {

	private static final String ACM_ZK_CFG_DATAID = "com.taobao.zookeeper.connCfg";
	private static final String ACM_ZK_CFG_GROUP = "zookeeper";
	private static final int ACM_TIME_OUT_MS = 3000;

	private final static Executor acmCallBackExecutor = Executors.newSingleThreadScheduledExecutor();
	private ConfigChangeListener configChangeListener;
	private final AtomicReference<String> connectionString = new AtomicReference<String>("");
	private Properties cfg = new Properties();

	public String getZkHosts() {
		// 从ACM控制台该配置的"示例代码"中拷贝对应的值
		ConfigService.init("${domain}", "${namespace}", "${accessKey}", "${secretKey}");

		try {
			String zkServiceCfg = ConfigService.getConfig(ACM_ZK_CFG_DATAID, ACM_ZK_CFG_GROUP, ACM_TIME_OUT_MS);
			cfg.load(new StringReader(zkServiceCfg));

			String connectString = cfg.getProperty("connectString");
			connectionString.set(connectString);

			return connectString;
		} catch (ConfigException e1) {
			// logger.warn("acm.getConfig error with dataId : " +
			// dataIdZkHosts, e);
			e1.printStackTrace();
			return null;
		} catch (IOException e) {
			e.printStackTrace();
			return null;
		}
	}

	public void start() throws Exception {
		configChangeListener = new ConfigChangeListener() {

			public Executor getExecutor() {
				return acmCallBackExecutor;
			}

			public void receiveConfigInfo(String configInfo) {
				// logger.warn("receive zkHosts change in diamond, dataId : " +
				// dataIdZkHosts + ", changed zkHosts : "
				// + configInfo);
				try {
					cfg.load(new StringReader(configInfo));
				} catch (IOException e) {
					// process exception
					e.printStackTrace();
				}

				String connectString = cfg.getProperty("connectString");
				connectionString.set(connectString);
			}
		};
		ConfigService.addListener(ACM_ZK_CFG_DATAID, ACM_ZK_CFG_GROUP, configChangeListener);
	}

	public String getConnectionString() {
		return connectionString.get();
	}

	public void close() throws IOException {
		// ConfigService.removeListener(ACM_ZK_CFG_DATAID, ACM_ZK_CFG_GROUP,
		// configChangeListener);
	}

}

当zookeeper集群的节点挂掉,需要更换ip列表或者修改超时参数,应用的znode配额quota时,zookeeper运维人员只需要在ACM上修改相关的配置项,ACM将自动分发变更到所有的应用系统。

该方案如图所示:

如何使用ACM实现zookeeper依赖服务的透明Failover迁移

在上例中,我们可以看到,应用系统开发人员(Dev)和运维人员(Ops)之间省去了沟通成本,应用系统也省去了因连接相关的配置变更导致的应用重新启动或者发布应用的变更成本。

看完上述内容是否对您有帮助呢?如果还想对相关知识有进一步的了解或阅读更多相关文章,请关注亿速云行业资讯频道,感谢您对亿速云的支持。

推荐阅读:
  1. ZooKeeper锁服务
  2. Kafka不停机,如何无感知迁移ZooKeeper集群?

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

acm zookeeper failover

上一篇:如何实现Openstack fernet token 解析

下一篇:linux中如何删除用户组

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》