如何搭建Hadoop的环境

发布时间:2021-08-20 22:27:12 作者:chen
来源:亿速云 阅读:155

本篇内容主要讲解“如何搭建Hadoop的环境”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“如何搭建Hadoop的环境”吧!

说明:这里我们以本地模式和伪分布模式伪列,为大家介绍如何搭建Hadoop环境。有了这个基础,大家可以自行搭建Hadoop的全分布模式。

需要使用的安装介质:

一、安装前的准备工作

如何搭建Hadoop的环境

1
2
systemctl stop firewalld.service
systemctl disable firewalld.service
1
bigdata111  192.168.157.111
1
2
ssh-keygen -t rsa
ssh-copy-id -i .ssh/id_rsa.pub root@bigdata111

二、安装JDK

如何搭建Hadoop的环境

  如何搭建Hadoop的环境

1
tar -zxvf jdk-8u181-linux-x64.tar.gz -C /root/training/
1
vi /root/.bash_profile
1
2
3
4
5
JAVA_HOME=/root/training/jdk1.8.0_181
export JAVA_HOME
 
PATH=$JAVA_HOME/bin:$PATH
export PATH

如何搭建Hadoop的环境

1
source /root/.bash_profile

 如何搭建Hadoop的环境

如何搭建Hadoop的环境

三、解压Hadoop,并设置环境变量

1
tar -zxvf hadoop-2.7.3.tar.gz -C ~/training/
1
2
3
4
5
HADOOP_HOME=/root/training/hadoop-2.7.3
export HADOOP_HOME
 
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH

如何搭建Hadoop的环境

1
source ~/.bash_profile

四、搭建Hadoop的本地模式

1
export JAVA_HOME=/root/training/jdk1.8.0_181

  如何搭建Hadoop的环境

如何搭建Hadoop的环境

如何搭建Hadoop的环境

如何搭建Hadoop的环境

1
hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /root/temp /root/output/wc

如何搭建Hadoop的环境

五、搭建Hadoop的伪分布模式

1
mkdir /root/training/hadoop-2.7.3/tmp
1
cd /root/training/hadoop-2.7.3/etc/hadoop
1
2
3
4
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

  如何搭建Hadoop的环境

1
2
3
4
5
6
7
8
9
10
11
12
13
<!--配置NameNode的地址-->
<!--9000是RPC通信的端口-->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://bigdata111:9000</value>
</property>
 
<!--HDFS对应的操作系统目录-->
<!--默认值是Linux的tmp目录-->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/root/training/hadoop-2.7.3/tmp</value>
</property>

  如何搭建Hadoop的环境

1
2
3
4
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

  如何搭建Hadoop的环境

1
2
3
4
5
6
7
8
9
10
11
<!--配置ResourceManager的地址-->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>bigdata111</value>
</property>
 
<!--MapReduce运行的方式是洗牌-->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

  如何搭建Hadoop的环境

1
hdfs namenode -format

  如何搭建Hadoop的环境

1
start-all.sh

  如何搭建Hadoop的环境

1
2
http://192.168.157.111:50070
http://192.168.157.111:8088

如何搭建Hadoop的环境

如何搭建Hadoop的环境

到此,相信大家对“如何搭建Hadoop的环境”有了更深的了解,不妨来实际操作一番吧!这里是亿速云网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!

推荐阅读:
  1. hadoop环境搭建
  2. 如何搭建hadoop运行环境

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

hadoop

上一篇:Hive数据库的安装

下一篇:Linux的启动流程介绍

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》