怎么进行hadoop2.x namenode ha 架构的原理分析

发布时间:2021-12-03 17:49:57 作者:柒染
来源:亿速云 阅读:147

怎么进行hadoop2.x namenode ha 架构的原理分析,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。

在2.x版本的ha的架构图中

怎么进行hadoop2.x namenode ha 架构的原理分析


看以看到为了完成对两个NN的无缝切换,DN需要同时在Block信息发给两个NN,而NN之间需要做的是元数据信息的同步。

这里就涉及到同步的问题,共享存储。

在可靠性方面,在每一个NN上启动了DFSZKFailoverController来监听本地NN的运行状态,以便做出相应的判断处理。

而zookeeper就算为了实现一个分布式lock,防止同时出现两个active NN,以及一些数据的共享。

我们可以在看这幅比较原理基本的架构图。

怎么进行hadoop2.x namenode ha 架构的原理分析

可以看到每一个NN上,是有HADeamon进程,定时和DFSZKFailoverController的HealthMonitor进行心跳检测。

DFSZKFailoverController其中包含了ActiveStandbyElector来选举active以及standby。

元数据信息通过QJM来实时更新。

我们可以把standby NN看成是一个safemode下的NN,不提供对外服务,但是却可以更新相应的元数据信息修改,block数据上报更新等一系列操作。

看完上述内容,你们掌握怎么进行hadoop2.x namenode ha 架构的原理分析的方法了吗?如果还想学到更多技能或想了解更多相关内容,欢迎关注亿速云行业资讯频道,感谢各位的阅读!

推荐阅读:
  1. Hadoop2.x与hadoop的区别
  2. Hadoop1.x版本升级Hadoop2.x

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

hadoop namenode

上一篇:TE开发中的剖面分析原理是什么

下一篇:网页里段落的html标签是哪些

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》