怎么管理Hadoop

发布时间:2021-12-10 09:48:01 作者:iii
来源:亿速云 阅读:124

这篇文章主要介绍“怎么管理Hadoop”,在日常操作中,相信很多人在怎么管理Hadoop问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”怎么管理Hadoop”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!

均衡器

均衡器程序是一个hadoop守护进程,它将块从忙碌的datanode移到相对空闲的datanode,从而重新分配块。

1、HDFS不会自动将块从旧的datanode移到新的datanode以平衡集群。用户需要自动运行均衡器。

2、均衡器在标准日志目录中创建一个日志文件,记录每次重新分配过程(每次一行)。

3、dfs.balance.bandwidthPerSec属性

在hdfs-site.xml中的dfs.balance.bandwidthPerSec属性指定均衡器在调整集群时,不同节点之间复制数据的带宽大小MB/s。

均衡器的相关知识点

1、怎样使用均衡器?

均衡器坚持块复本放置策略,将复本分散到不同机架,以降低数据损坏率。

它不断移动块,直到集群达到均衡,即每个datanode的使用率(该节点上以使用的空间与空间容量之间的比例)和集群的使用率(集群中已使用的空间与集群的空间容量之间的比率)非常接近,差距不超过给定的阈值。

2、判定均衡的标准?

它不断移动块,直到集群达到均衡,即每个datanode的使用率(该节点上以使用的空间与空间容量之间的比例)和集群的使用率(集群中已使用的空间与集群的空间容量之间的比率)非常接近,差距不超过给定的阈值。

3、怎样判定已基本均衡?!

可调用下面指令启动均衡器:

% start-balancer.sh

-threshold参数指定阈值(百分比格式),以判定集群是否均衡。

这个标记是可选的,如果不使用,默认阈值是10%。

4、一个集群中有几个均衡器?

在任何时刻,集群中都只运行一个均衡器。

5、均衡器在什么时候运行?

均衡器会一直运行,直到在集群变均衡;之后,均衡器无法移动任何块,或与namenode失去联系。

6、均衡器在不同节点之间复制数据的带宽由哪个属性指定?
为了降低集群负荷、避免干扰其他用户,均衡器被设计为在后台运行。
在不同节点之间复制数据的带宽也是受限的。
默认值是很小的1MB/s,可以通过hdfs-site.xml文件中的dfs.balance.bandwidthPerSec属性指定(单位是字节)。

委任和解除节点

委任新节点

1、委任新节点具体步骤

1)、配置hdfs-site.xml,指向namenode;

2)、配置mapred-site.xml,指向jobtracker;

3)、启动datanode和jobtracker守护进程;

注意:最好指定一些经过审核的节点,新节点包含在其中。(????)

2、连接到namenode的所有datanode

被允许连接到namenode的所有datanode放在一个文件中,文件名称由dfs.hosts属性指定

该文件放在namenode的本地文件系统中,每行对应一个datanode的网络地址(由datanode报告——可以通过namenode的网页查看?????)。

如果需要为一个datanode指定多个网络地址,可将多个网络地址放在一行,由空格隔开。

3、mapred.hosts(连接到jobtracker的所有tasktracker)

被允许连接到jobtracker的所有tasktracker也在同一个文件中指定,由mapred.hosts属性指定

通常情况下,由于集群的节点同时运行datanode和tasktracker守护进程,dfs.hosts和mapred.hosts会同时指向一个文件,即include文件。

4、向集群添加新节点的步骤

1)、将新节点的网络地址添加到include中。

2)、运行以下指令,更新namenode的经过审核的一系列datanode集合。

% hadoop dfsadmin -refreshNodes

3)、以新节点更新slaves文件。

这样的话,Hadoop控制脚本会将新节点包括在未来操作之中。

4、启动新的datanode。

5、重启MapReduce集群。

6、检查新的datanode和tasktracker是否都出现在网页界面中。

解除旧节点

1、datanode故障

HDFS能够容忍datanode故障,但这不意味着允许随意终止datanode。

以三复本策略为例,如果同时关闭不同机架上的三个datanode,丢失数据的概率会非常高。

2、tasktracker故障

Hadoop的tasktracker也可容忍故障的发生。

如果关闭一个正在运行任务的tasktracker,jobtracker会意识到发生故障,并在其它tasktracker上重新调度任务。

3、若要解除一个节点,则该节点需要出现在execlude文件

对于HDFS来说,文件名称由dfs.hosts.exclude属性控制;

对于MapReduce来说,文件名称由mapred.hosts.execlude属性控制。

这些文件列出若干未被允许连接到集群的节点。

通常情况下,这两个属性指向同一个文件。

4、从集群中移除节点的步骤

1)、将待解除节点的网络地址添加到exclude文件中。不更新include文件。

2)、重启MapReduce集群,以终止在待解除节点上运行的tasktracker。

3)、执行以下指令,使用一系列新的审核过的datanode来更新namenode设置:

% hadoop dfsadmin -refreshNodes

4)、转到网页界面,查看待解除datanode的管理状态是否已经变为“Decommission In Progress”。

将这些datanode块复制到其它datanode中。

5)、当所有datanode的状态变为“Decommissioned”是,表明所有块都已经复制完毕。关闭已经解除的节点。

6)、从include文件中移除这些节点,并运行以下命令:

% hadoop dfsadmin -refreshNodes

7)、从slaves文件中移除节点。

委任和解除节点相关知识点

1、dfs.hosts属性和mapred.hosts属性指定的文件为什么不同于slaves文件?

dfs.hosts和mapred.hosts属性供namenode和jobtracker使用,用来决定可以连接哪个工作节点。

Hadoop控制脚本使用slaves文件执行集群范围的操作,例如重启集群等。

Hadoop守护进程从不使用slaves文件。(???????????)

2、正确解除datanode节点的方法是什么?

用户将拟退出的若干datanode告知namenode,方可在这些datanode停机之前将块复制到其它datanode。

3、怎样判断一个tasktracker能否连接到jobtracker?

仅当tasktracker出现在include文件且不出现在exclude文件中时,才能够连接到jobtracker。

注意:

如果未指定include文件,或include文件为空,则意味着所有节点均在include文件中。

4、怎样判断一个datanode是否被解除委任?

如果一个datanode同时出现在include和exclude文件中,则该节点可以连接,但是很快会被解除委任。

如果未指定include文件或include文件为空,都意味着包含所有节点。

怎么管理Hadoop

到此,关于“怎么管理Hadoop”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注亿速云网站,小编会继续努力为大家带来更多实用的文章!

推荐阅读:
  1. Hadoop 系列(二)—— 集群资源管理器 YARN
  2. Hadoop 管理工具HUE配置-初始配置

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

hadoop

上一篇:HIVE从入门到精通的示例分

下一篇:清空hive表时报错Cannot truncate non-managed table怎么办

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》