Debian Hadoop 虚拟机部署方案

在Debian系统上部署Hadoop虚拟机的过程涉及多个步骤，包括系统初始化、Java环境安装、Hadoop集群搭建等。以下是一个详细的部署方案：

系统初始化

1. 安装网络工具包：

sudo apt install net-tools vim

2. 关闭防火墙：

sudo ufw disable

3. 设置主机名称：

hostnamectl set-hostname master

4. 配置hosts文件：

cat >> /etc/hosts << eof
192.168.52.28 master
eof

安装Java环境

1. 上传并解压Java安装包：

tar -xzf jdk-8u201-linux-x64.tar.gz -c /usr/local/
cd /usr/local/
mv jdk1.8.0_201 java

2. 启用Java环境变量：

vi /etc/profile
export JAVA_HOME=/usr/local/java
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/sbin
source /etc/profile
java -version

Hadoop分布式环境搭建

1. 下载Hadoop安装包：

wget http://archive.apache.org/dist/hadoop/core/hadoop-2.7.6/hadoop-2.7.6.tar.gz

2. 解压Hadoop安装包：

tar -xzf hadoop-2.7.6.tar.gz -c /usr/local/
cd /usr/local/hadoop-2.7.6/etc/hadoop/
mkdir /data/hadoop/hdfs/tmp
mkdir /data/hadoop/hdfs/name
mkdir /data/hadoop/hdfs/data

3. 配置hadoop-env.sh文件：

vim hadoop-env.sh
export JAVA_HOME=/usr/local/java
cd /usr/local/hadoop-2.7.6/sbin/
vim start-dfs.sh
vim stop-dfs.sh
vim start-yarn.sh
vim stop-yarn.sh

4. 配置core-site.xml文件：

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/data/hadoop/hdfs/tmp</value>
</property>
<property>
<name>fs.defaultfs</name>
<value>hdfs://master:9000</value>
</property>
</configuration>

5. 配置hdfs-site.xml文件：

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/data/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/data/hadoop/hdfs/data</value>
</property>
</configuration>

6. 配置mapred-site.xml文件：

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

启动Hadoop服务

在主节点上启动Hadoop服务：

/usr/local/hadoop-2.7.6/sbin/start-dfs.sh
/usr/local/hadoop-2.7.6/sbin/start-yarn.sh

验证安装

使用以下命令检查Hadoop进程是否启动成功：

jps

访问Hadoop的Web UI进行验证：

• NameNode: http://master:9000
• ResourceManager: http://master:8088