Hadoop单节点环境配置

发布时间:2020-05-26 09:39:08 作者:bzm200584
阅读:586
开发者专用服务器限时活动,0元免费领! 查看>>

1、配置环境

1.1、软件包

sun jdk  或 openjdk: 1.7 

1.2、安装必须软件包:

# yum install ssh rsync

# rpm -ivh jdk-7u79-linux-x64.rpm

1.3、配置java环境

# vim /etc/profile

export JAVA_HOME=/usr/java/latest
export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

# vim hadoop_home/etc/hadoop/hadoop_env.sh

export JAVA_HOME=/usr/java/latest
或者
export JAVA_HOME=/usr/lib/jvm/jre-1.7.0-openjdk.x86_64


2、单节点配置文件配置

# vim hadoop_home/etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

# vim hadoop_home/etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

3、设置ssh免密登陆

# ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

# chmod 0600 ~/.ssh/authorized_keys

4、测试环境

4.1、格式化文件系统

# hadoop_home/bin/hdfs namenode -format

4.2、开启NameNode和DataNode服务

# hadoop_home/sbin/start-dfs.sh

4.3、浏览NameNode的web接口

http://localhost:50070/

4.4、MapReduce工作执行的目录

# hadoop_home/bin/hdfs dfs -mkdir /user

# hadoop_home/bin/hdfs dfs -mkdir /user/<username>  这里的<username>为你执行MapReduce的系统用户

4.5、拷贝input文件倒目标文件系统

# hadoop_home/bin/hdfs dfs -put etc/hadoop input

4.6、运行系统提供的默认demo

# hadoop_home/bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+'

4.7、将目标系统的output文件拷贝到本地

# hadoop_home/bin/hdfs dfs -get output output

4.8、查看执行结果

# cat hadoop_home/output/*

4.9、查看目标文件系统output结果

# hadoop_home/bin/hdfs dfs -cat output/*

至此,单节点hadoop环境就已经配置并测试通过了。

亿速云「云服务器」,即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘,价格低至29元/月。点击查看>>

推荐阅读:
  1. kubernetes单节点安装
  2. Heron 单节点运行 —— 基本环境配置

开发者交流群:

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

hadoop 大数据 单节

上一篇:CephFs的操作方法

下一篇:C#编写扫雷游戏

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》
开发者交流群×