Debian上Hadoop资源管理怎样配置

在Debian上配置Hadoop资源管理，通常涉及以下几个关键步骤：

1. 安装Java开发工具包（JDK）： Hadoop需要JDK来运行，因此首先需要安装JDK。可以使用以下命令安装OpenJDK：

   sudo apt update
   sudo apt install openjdk-11-jdk
   

2. 下载并解压Hadoop： 从Hadoop官方网站下载适用于Debian的Hadoop安装包，然后解压到指定目录。例如：

   wget http://archive.cloudera.com/cdh5/hadoop/stable/hadoop-2.7.7/hadoop-2.7.7.tar.gz
   tar -zxvf hadoop-2.7.7.tar.gz -C /usr/local/hadoop
   

3. 配置环境变量： 编辑~/.bashrc文件，添加Hadoop的安装路径和bin目录到PATH环境变量中：

   export HADOOP_HOME=/usr/local/hadoop
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   

   然后使配置生效：

   source ~/.bashrc
   

4. 配置Hadoop配置文件： 进入Hadoop配置文件目录/usr/local/hadoop/etc/hadoop，对四个配置文件进行更改：

   • core-site.xml：

     <configuration>
         <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
         </property>
         <property>
             <name>hadoop.tmp.dir</name>
             <value>/usr/local/hadoop/tmp</value>
         </property>
     </configuration>
     

   • hdfs-site.xml：

     <configuration>
         <property>
             <name>dfs.replication</name>
             <value>1</value>
         </property>
         <property>
             <name>dfs.namenode.name.dir</name>
             <value>/usr/local/hadoop/hdfs/namenode</value>
         </property>
         <property>
             <name>dfs.datanode.data.dir</name>
             <value>/usr/local/hadoop/hdfs/datanode</value>
         </property>
     </configuration>
     

   • mapred-site.xml：

     <configuration>
         <property>
             <name>mapreduce.framework.name</name>
             <value>yarn</value>
         </property>
     </configuration>
     

   • yarn-site.xml：

     <configuration>
         <property>
             <name>yarn.resourcemanager.hostname</name>
             <value>localhost</value>
         </property>
         <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
         </property>
     </configuration>
     

5. 配置SSH免密码登录： 在所有节点上配置SSH免密码登录，以便能够无密码启动Hadoop服务：

   ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
   cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
   chmod 600 ~/.ssh/authorized_keys
   

6. 格式化HDFS并启动Hadoop集群： 在NameNode节点上，运行以下命令格式化HDFS文件系统：

   hdfs namenode -format
   

   然后启动Hadoop集群：

   start-dfs.sh
   start-yarn.sh
   

7. 验证配置： 使用以下命令检查Hadoop服务是否成功启动：

   jps
   

   访问Hadoop管理界面：

   • HDFS状态：http://localhost:50070
   • YARN资源管理器：http://localhost:8088