您好，登录后才能下订单哦！
密码登录
登录注册
点击 登录注册 即表示同意《亿速云用户服务条款》
这篇文章主要介绍“Hadoop安装和环境搭建方法”，在日常操作中，相信很多人在Hadoop安装和环境搭建方法问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”Hadoop安装和环境搭建方法”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！
一. 下载环境
二. 创建Hadoop用户
1.进入用户，打开终端输入如下命令：
2.设置密码
三. 进行Hadoop内部环境的搭建
四. 安装ssh并配置无密码登陆
1.登陆
2.设置无密码登陆
五.安装Java环境
六.安装Hadoop
七.Hadoop伪分布配置
1.配置文件
2.开启NameNode 和 DataNode 守护进程
八.Hadoop集群搭建
总结
Ubuntu 2.x.x 版本
在虚拟机创建安装完成后。
sudo useradd -m hadoop -s /bin/bash
则创建好了可以登陆的Hadoop用户
/bin/bash 作为 shell
在终端输入
sudo passwd hadoop #需输入两次密码 sudo adduser hadoop sudo #给Hadoop添加管理员权限
完成
更新apt
打开终端输入
sudo apt-get update #更新apt sudo apt-get install vim #下载vim 用于修改配置文件
sudo apt-get install openssh-serve #下载 ssh localhost #登陆 首次登陆输入yes并输入密码登陆完成
exit #退出登陆 ssh-keygen -t rsa #出现提示后按回车 cat ./id_rsa.pub >> ./authorized_keys #加入授权 ssh localhost #再次登陆ssh 不需要密码
若出现需要密码登陆但错误，需要将ssh删除，重新下载安装进行配置
rm -rf ~/.ssh #删除ssh
先寻找Java下载的镜像网站
如华为，清华等
再输入相应的代码进行下载
wget https://repo.huaweicloud.com/java/jdk/8u171-b11/jdk-8u171-linux-x64.tar.gz
之后输入以下指令进行解压
cd /usr/lib sudo mkdir jvm #创建/uer/lib/jvm 目录存放JDK文件 cd sudo tar -zxvf ./jdk-8u171-linux-x64.tar.gz -C /usr/lib/jvm #解压到/usr/lib/jvm目录中 cd ~ vim ~/.bashrc #环境变量配置文件
添加以下内容到第一行
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH退出后使命令立即生效
source ~/bashrc java -version #查看是否安装成功
和安装Java类似，搜索镜像并下载
下载完成后将Hadoop安装至/usr/lib中
sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz -C /usr/local # 解压到/usr/local中 cd /usr/local/ sudo mv ./hadoop-2.6.0/ ./hadoop # 将文件夹名改为hadoop sudo chown -R hadoop ./hadoop # 修改文件权限
cd /usr/local/hadoop ./bin/hadoop version #检查版本信息
cd /usr/loca/hadoop/etc/hadoop/ gedit ./etc/hadoop/core-site.xml #修改core-site.xml的配置
将其中的
<configuration> </configuration>
改为
<configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
同理将hdfs-site.xml中的改为
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/data</value> </property> </configuration>
配置完成后,执行NameNode的格式化：
cd /usr/local/hadoop ./bin/hdfs namenode -format
成功的话，会看到 “successfully formatted” 和 “Exitting with status 0” 的提示，若为 “Exitting with status 1” 则是出错。
cd /usr/local/hadoop ./sbin/start-dfs.sh #start-dfs.sh是个完整的可执行文件，中间没有空格
若出现ssh提示，输入yes 出现WARN提示可以忽略启动 Hadoop 时提示 Could not resolve hostname ，输入
vim ~/.bashrc
添加环境变量
export HADOOP_HOME=/usr/local/hadoop export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
完成后执行
soure ~/.bashrc #使变量生效 ./sbin.start-dfs.sh #启动Hadoop jps #查看是否启动成功，若有NameNode ,DataNode,SecondaryNameNode则成功启动
若DataNode无法启动
cd /usr/local/hadoop ./sbin/stop-dfs.sh # 关闭 rm -r ./tmp # 删除 tmp 文件，注意这会删除 HDFS 中原有的所有数据，慎用 ./bin/hdfs namenode -format # 重新格式化 NameNode ./sbin/start-dfs.sh # 重启
成功启动后，可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。
按图调整网络设置
ping 通则说明成功
到此，关于“Hadoop安装和环境搭建方法”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注亿速云网站，小编会继续努力为大家带来更多实用的文章！
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。