Hadoop在Linux上如何部署与配置

在Linux上部署和配置Hadoop涉及多个步骤，以下是详细的指南：

环境准备

1. 安装Java：

   • 在Ubuntu上：

     sudo apt update
     sudo apt install openjdk-8-jdk
     

   • 在CentOS上：

     sudo yum install java-1.8.0-openjdk-devel
     

   • 检查Java安装是否成功：

     java -version
     

2. 安装SSH：

   • 确保可以无密码连接到所有节点。
   • 在Ubuntu上：

     sudo apt install openssh-server
     

   • 在CentOS上：

     sudo yum install openssh-server
     

   • 生成SSH密钥并分发到所有节点：

     ssh-keygen -t rsa
     ssh-copy-id user@node1
     ssh-copy-id user@node2
     

下载和配置Hadoop

1. 下载Hadoop：

   • 访问Apache Hadoop官方网站，下载所需版本的Hadoop安装包。例如，下载Hadoop 3.3.0版本：

     wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz
     

   • 解压安装包：

     tar -xzvf hadoop-3.3.0.tar.gz -C /usr/local/hadoop
     

2. 配置环境变量：

   • 编辑~/.bashrc文件，添加以下内容：

     export HADOOP_HOME=/usr/local/hadoop
     export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
     export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
     

   • 使配置生效：

     source ~/.bashrc
     

配置Hadoop

1. 修改配置文件：
   • core-site.xml：

     <configuration>
         <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
         </property>
     </configuration>
     

   • hdfs-site.xml：

     <configuration>
         <property>
             <name>dfs.replication</name>
             <value>1</value>
         </property>
         <property>
             <name>dfs.namenode.name.dir</name>
             <value>/usr/local/hadoop/dfs/name</value>
         </property>
         <property>
             <name>dfs.datanode.data.dir</name>
             <value>/usr/local/hadoop/dfs/data</value>
         </property>
     </configuration>
     

   • mapred-site.xml：

     <configuration>
         <property>
             <name>mapreduce.framework.name</name>
             <value>yarn</value>
         </property>
     </configuration>
     

   • yarn-site.xml：

     <configuration>
         <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
         </property>
         <property>
             <name>yarn.resourcemanager.hostname</name>
             <value>hadoop01</value>
         </property>
     </configuration>
     

启动Hadoop

1. 格式化HDFS：

   hdfs namenode -format
   

2. 启动Hadoop集群：

   start-dfs.sh
   start-yarn.sh
   

3. 验证安装：

   • 使用以下命令查看Hadoop的状态：

     jps
     

   • 访问Hadoop Web界面，确认HDFS和YARN是否正常运行：
     • HDFS Web UI: http://localhost:9870
     • YARN Resource Manager: http://localhost:8088

通过以上步骤，您可以在Linux上成功部署和配置Hadoop。希望这些信息对您有所帮助。