Debian下Hadoop安装步骤是什么

在Debian系统上安装Hadoop的步骤如下：

1. 环境准备

• 确保你的系统是Debian，并且已经更新到最新版本。
• 安装Java Development Kit (JDK) 1.8或更高版本，以及SSH服务用于节点间的通信。

2. 下载Hadoop

• 访问Hadoop官网，点击“Download”进入下载页面。
• 推荐下载最新稳定版，例如Hadoop 3.3.1。
• 下载对应的tar.gz文件并保存到本地。

3. 安装Hadoop

• 解压下载的Hadoop文件：

tar -xzvf hadoop-3.3.1.tar.gz

• 将解压后的目录移动到合适的安装位置，例如/usr/local/hadoop：

sudo mv hadoop-3.3.1 /usr/local/hadoop

4. 配置环境变量

• 编辑~/.bashrc文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

• 使配置生效：

source ~/.bashrc

5. 配置Hadoop

• 在Hadoop目录下，编辑以下配置文件：
  • core-site.xml：

    <configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://namenode:9000</value>
        </property>
    </configuration>
    

  • hdfs-site.xml：

    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>3</value>
        </property>
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>/usr/local/hadoop/dfs/name</value>
        </property>
        <property>
            <name>dfs.datanode.data.dir</name>
            <value>/usr/local/hadoop/dfs/data</value>
        </property>
    </configuration>
    

  • mapred-site.xml：

    <configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>
    

  • yarn-site.xml：

    <configuration>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        <property>
            <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
            <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
    </configuration>
    

6. 格式化HDFS

在NameNode上运行以下命令格式化HDFS：

hdfs namenode -format

7. 启动Hadoop服务

在NameNode上启动Hadoop的NameNode和DataNode：

start-dfs.sh

在ResourceManager上启动YARN：

start-yarn.sh

8. 验证安装

• 检查Hadoop版本：

hadoop version

• 运行一个简单的WordCount示例来验证安装是否成功。

以上步骤应该能帮助你在Debian系统上成功安装Hadoop。如果在安装过程中遇到任何问题，请检查日志文件以获取更多信息。