Hadoop集群搭建的示例分析

发布时间:2021-11-17 15:28:56 作者:小新
来源:亿速云 阅读:157

这篇文章将为大家详细讲解有关Hadoop集群搭建的示例分析,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。

Hadoop集群搭建

一、Linux系统配置

1、在所有的机器上都建立相同的目录,也可以就建立相同的用户,以该用户的home路径来做hadoop的安装路径。例如在所有的机器上都建立了名为fan的用户:/home/fan。

2、Etc/hosts文件末尾添加IP-主机映射关系,例如:

192.168.146.161fan001
192.168.146.162fan002
192.168.146.163fan003
192.168.146.164fan004

二、Hadoop集群搭建时RedHat中jdk的卸载和安装

(一)jdk1.4卸载

由于redhatEnterprise5中自带安装了jdk1.4的,所以在安装jdk1.6前我把jdk1.4的卸了,步骤如下:

1、打开终端输入#rpm-qa|grepgcj,其现实内容有:
java-1.4.2-gci-compat.........
java-1.4.2-gcj-compat-devel.....(具体忘了是什么了,反正有两个java开头的文件)

2、卸载
#rpm-e--nodepsjava-1.4.2-gci...(利用rpm-e--nodeps命令删除上面查找的内容)此时jdk1.4已被卸了。

(二)jdk1.6安装

1.从网站上下载jdk1.6包(jdk-6u18-ea-bin-b04-linux-i586-28_oct_2009.bin),放到/usr目录下。

2.在linux中切换到/usr目录下,修改jdk1.6的使用权限:
#chmodu+xjdk-6u18-ea-bin-b04-linux-i586-28_oct_2009.bin

3.解压并安装:#./jdk-6u10-linux-i586-rpm.bin(默认安装在/usr/java中)可按ctrl+c跳过提示

4.Hadoop集群搭建中jdk1.6安装环境变量配置:

文件目录:/etc/profile
在该profile文件中添加:
JAVA_HOME=/usr/java/jdk1.6.0_10
JRE_HOME=/usr/java/jdk1.6.0_10/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/binCLASSPATH=.:$JAVA_HOME/lib/jt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib(注意:前面的.:,linux中的;号为:号)
exportJAVA_HOMEJRE_HOMEPATHCLASSPATH

添加完毕保存退出
#source/etc/profile
#java-version
显示javaversion"1.6.0_10"(jdk1.6安装成功)

5、卸载rpm版的jdk:(未使用)
#rpm-qa|grepjdk
显示:jdk-1.6.0_10-fcs
卸载:#rpm-e--nodepsjdk-1.6.0_10-fcs

三、配置Hadoop

看一下Hadoop集群搭建中关于Hadoop的配置。首先下载Hadoop,解压到Master上,放到用户根目录下。这里我是下载的0.19.2的版本。此时Hadoop的安装路径就是/home/fan/hadoop-0.19.2。然后修改Hadoop配置文件,解压后进入conf目录,主要需要修改以下文件:hadoop-env.sh,hadoop-site.xml、masters、slaves。

1、修改conf/hadoop-env.sh,添加jdk支持exportJAVA_HOME=/usr/jdk1.6.0_18

2、修改hadoop目录下的conf/site-site.xml文件。

3、masters增加:
fan001
slaves增加:
fan002
fan003
fan004

关于“Hadoop集群搭建的示例分析”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。

推荐阅读:
  1. raid的示例分析
  2. hadoop集群搭建

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

hadoop

上一篇:JavaScript的技术栈分析

下一篇:jquery如何获取tr里面有几个td

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》