Ubuntu上HDFS集群如何搭建

在Ubuntu上搭建HDFS集群涉及多个步骤，包括安装Hadoop、配置环境变量、设置配置文件以及启动HDFS服务。以下是一个基本的指南：

1. 安装Java环境

首先，确保所有节点上安装了Java Development Kit (JDK)。可以通过以下命令安装OpenJDK：

sudo apt update
sudo apt install -y openjdk-8-jdk
sudo update-java-alternatives --set java-1.8.0-openjdk
java -version

2. 安装Hadoop

从Apache Hadoop官网下载适用于Ubuntu的Hadoop二进制文件，并解压到每台机器的适当目录。例如，使用Hadoop 2.7.7版本：

wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
tar xvf hadoop-2.7.7.tar.gz
sudo mv hadoop-2.7.7 /usr/local/hadoop

3. 配置环境变量

编辑~/.bashrc文件，添加Hadoop的路径和环境变量：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source ~/.bashrc

4. 配置Hadoop集群

进入Hadoop配置文件目录/usr/local/hadoop/etc/hadoop，并编辑以下配置文件：

• core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode:9000</value>
    </property>
</configuration>

• hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/path/to/namenode/data</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/path/to/datanode/data</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>secondarynamenode:50090</value>
    </property>
</configuration>

• mapred-site.xml:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

• yarn-site.xml:

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>resourcemanager</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

5. 配置SSH免密登录

在所有节点之间配置SSH免密登录，以便无需密码即可互相访问：

ssh-keygen
ssh-copy-id user@datanode1
ssh-copy-id user@datanode2
ssh-copy-id user@datanode3

6. 格式化NameNode

在NameNode节点上执行以下命令格式化文件系统：

hdfs namenode -format

7. 启动HDFS集群

在NameNode节点上启动HDFS服务：

./sbin/start-dfs.sh

在所有DataNode节点上启动DataNode服务：

./sbin/start-dfs.sh datanode

8. 验证集群状态

使用以下命令检查HDFS和YARN的状态：

hdfs dfsadmin -report
yarn node -list

9. 访问Web界面

在浏览器中访问NameNode的Web界面，查看集群状态：

• HDFS状态: http://namenode:50070
• YARN资源管理器: http://namenode:8088

请注意，以上步骤是一个简化的指南，实际搭建过程中可能会遇到更多细节问题。建议在开始前详细阅读Hadoop官方文档，并根据实际情况进行调整。