Hadoop在CentOS上的资源如何分配

在CentOS上配置Hadoop集群涉及多个步骤，包括环境准备、软件安装、配置文件修改和启动服务等。以下是详细的步骤：

1. 环境准备：

   • 创建统一工作目录：

     mkdir -p /usr/local/src/server
     mkdir -p /usr/local/src/data
     mkdir -p /usr/local/src/software
     

   • 安装必要的软件包，如Java和Hadoop：

     yum install java-1.8.0-openjdk-devel
     wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
     tar -xzvf hadoop-3.3.1.tar.gz
     

   • 配置环境变量并加载到profile文件中：

     vi /etc/profile
     export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
     export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
     source /etc/profile
     

2. Hadoop配置：

   • 编辑Hadoop的核心配置文件：
     • core-site.xml：

       <configuration>
           <property>
               <name>fs.defaultFS</name>
               <value>hdfs://localhost:9000</value>
           </property>
       </configuration>
       

     • hdfs-site.xml：

       <configuration>
           <property>
               <name>dfs.replication</name>
               <value>1</value>
           </property>
           <property>
               <name>dfs.namenode.name.dir</name>
               <value>/usr/local/hadoop/hdfs/namenode</value>
           </property>
           <property>
               <name>dfs.datanode.data.dir</name>
               <value>/usr/local/hadoop/hdfs/datanode</value>
           </property>
       </configuration>
       

     • mapred-site.xml：

       <configuration>
           <property>
               <name>mapreduce.framework.name</name>
               <value>yarn</value>
           </property>
       </configuration>
       

3. 启动Hadoop集群：

   • 格式化NameNode：

     hdfs namenode -format
     

   • 启动Hadoop集群：

     start-dfs.sh
     start-yarn.sh
     

4. 资源管理和监控：

   • 使用Hadoop自带的Web界面来监控和管理资源使用情况：

     http://Hadoop-Master-IP:50070/
     

   • 可以使用Ganglia、Ambari或Cloudera Manager等第三方监控工具获取更详细的监控数据。

通过这些步骤，您可以在CentOS上成功配置和运行Hadoop集群，并有效管理集群的资源。