Apache Hadoop 2.8 完全分布式集群搭建过程是怎样的

目录

1. 引言
2. 准备工作
   • 2.1 硬件要求
   • 2.2 软件要求
   • 2.3 网络配置
3. 安装与配置
   • 3.1 安装JDK
   • 3.2 配置SSH无密码登录
   • 3.3 下载与解压Hadoop
   • 3.4 配置Hadoop环境变量
   • 3.5 配置Hadoop核心文件
   • 3.6 配置HDFS
   • 3.7 配置YARN
   • 3.8 配置MapReduce
4. 启动与验证
   • 4.1 格式化HDFS
   • 4.2 启动Hadoop集群
   • 4.3 验证集群状态
5. 常见问题与解决方案
6. 总结

引言

Apache Hadoop 是一个开源的分布式计算框架，广泛应用于大数据处理。Hadoop 2.8 是 Hadoop 2.x 系列的一个重要版本，引入了许多新特性和改进。本文将详细介绍如何在完全分布式模式下搭建 Hadoop 2.8 集群，涵盖从准备工作到集群启动的全过程。

准备工作

2.1 硬件要求

在搭建 Hadoop 集群之前，确保你有足够的硬件资源。以下是最低硬件要求：

• 主节点（NameNode 和 ResourceManager）：至少 4 核 CPU，8GB 内存，100GB 硬盘。
• 从节点（DataNode 和 NodeManager）：至少 2 核 CPU，4GB 内存，50GB 硬盘。
• 网络：千兆以太网，确保节点之间的低延迟和高带宽。

2.2 软件要求

• 操作系统：Linux（推荐使用 CentOS 7 或 Ubuntu 16.04）。
• Java：JDK 1.8 或更高版本。
• SSH：确保所有节点之间可以通过 SSH 无密码登录。

2.3 网络配置

• 主机名：为每个节点设置唯一的主机名，例如 namenode, datanode1, datanode2 等。
• IP 地址：确保每个节点有固定的 IP 地址。
• hosts 文件：在所有节点的 /etc/hosts 文件中添加所有节点的 IP 地址和主机名映射。

192.168.1.101 namenode
192.168.1.102 datanode1
192.168.1.103 datanode2

安装与配置

3.1 安装JDK

在所有节点上安装 JDK 1.8 或更高版本。

sudo yum install java-1.8.0-openjdk-devel

验证安装：

java -version

3.2 配置SSH无密码登录

在主节点上生成 SSH 密钥：

ssh-keygen -t rsa

将公钥复制到所有节点（包括主节点自身）：

ssh-copy-id namenode
ssh-copy-id datanode1
ssh-copy-id datanode2

验证无密码登录：

ssh datanode1

3.3 下载与解压Hadoop

在主节点上下载 Hadoop 2.8：

wget https://archive.apache.org/dist/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz

解压到 /opt 目录：

sudo tar -xzvf hadoop-2.8.5.tar.gz -C /opt/

创建软链接：

sudo ln -s /opt/hadoop-2.8.5 /opt/hadoop

3.4 配置Hadoop环境变量

在所有节点上编辑 ~/.bashrc 文件，添加以下内容：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

使配置生效：

source ~/.bashrc

3.5 配置Hadoop核心文件

编辑 $HADOOP_HOME/etc/hadoop/hadoop-env.sh 文件，设置 JAVA_HOME：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

3.6 配置HDFS

编辑 $HADOOP_HOME/etc/hadoop/core-site.xml 文件，添加以下内容：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop/tmp</value>
    </property>
</configuration>

编辑 $HADOOP_HOME/etc/hadoop/hdfs-site.xml 文件，添加以下内容：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/opt/hadoop/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/opt/hadoop/dfs/data</value>
    </property>
</configuration>

3.7 配置YARN

编辑 $HADOOP_HOME/etc/hadoop/yarn-site.xml 文件，添加以下内容：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>namenode</value>
    </property>
</configuration>

3.8 配置MapReduce

编辑 $HADOOP_HOME/etc/hadoop/mapred-site.xml 文件，添加以下内容：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

启动与验证

4.1 格式化HDFS

在主节点上格式化 HDFS：

hdfs namenode -format

4.2 启动Hadoop集群

启动 HDFS：

start-dfs.sh

启动 YARN：

start-yarn.sh

4.3 验证集群状态

查看 HDFS 状态：

hdfs dfsadmin -report

查看 YARN 状态：

yarn node -list

常见问题与解决方案

• 问题1：无法启动 DataNode

  • 解决方案：检查 dfs.datanode.data.dir 目录权限，确保 DataNode 有写权限。

• 问题2：ResourceManager 无法启动

  • 解决方案：检查 yarn.resourcemanager.hostname 配置是否正确，确保网络连通性。

总结

通过以上步骤，你已经成功搭建了一个完全分布式的 Hadoop 2.8 集群。接下来，你可以开始使用 Hadoop 进行大数据处理和分析。希望本文对你有所帮助，祝你在大数据的世界中探索出更多的可能性！