Ubuntu Hadoop 安装步骤全解析

在Ubuntu上安装Hadoop的步骤如下：

系统初始化

1. 安装网络工具包：

sudo apt install net-tools vim

2. 关闭防火墙：

sudo ufw disable

3. 设置主机名称：

hostnamectl set-hostname master

4. 配置hosts文件：

cat >> /etc/hosts << eof
192.168.52.28 master
eof

5. 生成SSH密钥：

ssh-keygen -t rsa -p ""
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

安装Java环境

1. 下载并解压Java：

tar -xzf jdk-8u201-linux-x64.tar.gz -c /usr/local/
cd /usr/local/
mv jdk1.8.0_201 java

2. 启用Java环境变量：

vi /etc/profile
export JAVA_HOME=/usr/local/java
export path=$path:$java_home/bin:$java_home/sbin
source /etc/profile
java -version

Hadoop分布式环境搭建

1. 下载Hadoop：

http://archive.apache.org/dist/hadoop/core/hadoop-2.7.6/hadoop-2.7.6.tar.gz

2. 解压Hadoop安装包：

tar -xzf hadoop-2.7.6.tar.gz -c /usr/local/
cd /usr/local/hadoop-2.7.6/etc/hadoop/
mkdir /data/hadoop/hdfs/tmp
mkdir /data/hadoop/hdfs/name
mkdir /data/hadoop/hdfs/data

3. 配置hadoop-env.sh文件：

vim hadoop-env.sh

添加以下行：

export JAVA_HOME=/usr/local/java

4. 配置start-dfs.sh和stop-dfs.sh文件：

vim start-dfs.sh
vim stop-dfs.sh

添加以下行：

hdfs_datanode_user=roothadoop_secure_dn_user=hdfshdfs_namenode_user=roothdfs_secondarynamenode_user=root

5. 配置start-yarn.sh和stop-yarn.sh文件：

vim start-yarn.sh
vim stop-yarn.sh

添加以下行：

yarn_resourcemanager_user=roothadoop_secure_dn_user=yarnyarn_nodemanager_user=root

6. 配置core-site.xml文件：

cd /usr/local/hadoop-2.7.6/etc/hadoop/
vim core-site.xml

添加以下内容：

<configuration>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>file:/data/hadoop/hdfs/tmp</value>
  </property>
  <property>
    <name>fs.defaultfs</name>
    <value>hdfs://master:9000</value>
  </property>
</configuration>

7. 配置hdfs-site.xml文件：

vim hdfs-site.xml

添加以下内容：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/data/hadoop/hdfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/data/hadoop/hdfs/data</value>
  </property>
</configuration>

8. 配置mapred-site.xml文件：

cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

添加以下内容：

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

以上步骤涵盖了在Ubuntu上安装Hadoop的基本流程，包括系统初始化、Java环境安装、Hadoop环境搭建等关键步骤。