Hadoop 2.0中的CDH4 MR如何配置

发布时间:2021-12-09 15:59:37 作者:小新
来源:亿速云 阅读:117

这篇文章主要为大家展示了“Hadoop 2.0中的CDH4 MR如何配置”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“Hadoop 2.0中的CDH4 MR如何配置”这篇文章吧。

MR1

cdh不建议使用MRv2.0作为生产环境,故依旧提供了mr1的包

mr1-2.0.0-mr1-cdh5.1.2.tar.gz

解压后copy至原hadoop路径,有如下文件冲突:

[root@h011171 ~]# cp -r hadoop-2.0.0-cdh5.1.2/* /usr/local/hadoop/ cp: overwrite `/usr/local/hadoop/bin/rcc’? y cp: overwrite `/usr/local/hadoop/bin/hadoop’? y cp: overwrite `/usr/local/hadoop/cloudera/cdh_version.properties’? y cp: overwrite `/usr/local/hadoop/cloudera/apply-patches’? y cp: overwrite `/usr/local/hadoop/cloudera/build.properties’? y cp: overwrite `/usr/local/hadoop/cloudera/CHANGES.cloudera.txt’? y

均覆盖即可

基本兼容cdh4 mr1的所有mapreduce配置,包括公平调度器/hadoop acl权限设置,

使用

./bin/start-mapred.sh ./bin/stop-mapred.sh

监控调度界面同原CDH3

MR2(YARN)

MRv2最基本的设计思想是将JobTracker的两个主要功能,即资源管理和作业调度/监控分成两个独立的进程。在该解决方案中包含两个组件:全局的ResourceManager(RM)和与每个应用相关的ApplicationMaster(AM)。这里的“应用”指一个单独的MapReduce作业或者DAG作业。RM和与NodeManager(NM,每个节点一个)共同组成整个数据计算框架。RM是系统中将资源分配给各个应用的最终决策者。AM实际上是一个具体的框架库,它的任务是【与RM协商获取应用所需资源】和【与NM合作,以完成执行和监控task的任务】。

架构描述如下:

Hadoop 2.0中的CDH4 MR如何配置

Hadoop 2.0中的CDH4 MR如何配置

配置

mapred-site.xml配置

<!&ndash; YARN &ndash;>   <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>h011200.hebe.grid.sina.com.cn:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>h011200.hebe.grid.sina.com.cn:19888</value> </property>

yarn-site.xml配置

<property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>h011200.hebe.grid.sina.com.cn:8031</value> </property> <property> <name>yarn.resourcemanager.address</name>                # RMtracker地址意同jobtrakcer <value>h011200.hebe.grid.sina.com.cn:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name>     # RMscheduler地址意同mv1的jobscheduler <value>h011200.hebe.grid.sina.com.cn:8030</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>h011200.hebe.grid.sina.com.cn:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name>  #RM Web地址同mr1 默认的50030 <value>h011200.hebe.grid.sina.com.cn:8088</value> </property>    <property>  <description>Classpath for typical applications.</description> <name>yarn.application.classpath</name> <value> $HADOOP_CONF_DIR, $HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*, $HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*, $HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*, $YARN_HOME/*,$YARN_HOME/lib/* </value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce.shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.nodemanager.local-dirs</name> <value>/data1/hadoop/data/yarn/local</value> </property> <property> <name>yarn.nodemanager.log-dirs</name> <value>/data1/hadoop/data/yarn/log</value> </property> <property> <description>Where to aggregate logs</description> <name>yarn.nodemanager.remote-app-log-dir</name> <value>/var/log/hadoop-yarn/apps</value> </property>    <property> <name>yarn.app.mapreduce.am.staging-dir</name> <value>/user</value> </property>

启动

./sbin/start-yarn.sh

会启动本地RM及远程NM

./sbin/mr-jobhistory-daemon.sh start historyserver

启动本地historyserver

RM界面

Hadoop 2.0中的CDH4 MR如何配置

Job history界面

Hadoop 2.0中的CDH4 MR如何配置

以上是“Hadoop 2.0中的CDH4 MR如何配置”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注亿速云行业资讯频道!

推荐阅读:
  1. 一、安装hadoop
  2. Hadoop 之 Yarn

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

hadoop

上一篇:Hadoop开源工具有哪些

下一篇:Hadoop和Spark的Shuffle过程有什么不同

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》