Ubuntu Hadoop 资源管理如何进行

在 Ubuntu 上配置和管理 Hadoop 资源涉及多个步骤，包括安装 Hadoop、配置 Hadoop 集群以及监控和调整资源使用。以下是一个基本的指南：

1. 安装 Hadoop

下载 Hadoop

首先，从 Apache Hadoop 官方网站下载最新版本的 Hadoop。

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz

解压 Hadoop

将下载的文件解压到 /usr/local 目录下。

sudo tar -xzvf hadoop-3.3.4.tar.gz -C /usr/local/

配置环境变量

编辑 ~/.bashrc 或 /etc/profile 文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后使配置生效：

source ~/.bashrc

2. 配置 Hadoop 集群

配置 `core-site.xml`

编辑 $HADOOP_HOME/etc/hadoop/core-site.xml 文件，添加以下内容：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

配置 `hdfs-site.xml`

编辑 $HADOOP_HOME/etc/hadoop/hdfs-site.xml 文件，添加以下内容：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop-3.3.4/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop-3.3.4/data/datanode</value>
    </property>
</configuration>

格式化 HDFS

在首次启动 HDFS 之前，需要对其进行格式化：

hdfs namenode -format

启动 HDFS

启动 HDFS 的 NameNode 和 DataNode：

start-dfs.sh

配置 `mapred-site.xml`

编辑 $HADOOP_HOME/etc/hadoop/mapred-site.xml 文件，添加以下内容：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

配置 `yarn-site.xml`

编辑 $HADOOP_HOME/etc/hadoop/yarn-site.xml 文件，添加以下内容：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
</configuration>

启动 YARN

启动 ResourceManager 和 NodeManager：

start-yarn.sh

3. 监控和调整资源

使用 Web UI 监控

NameNode Web UI: http://localhost:50070
ResourceManager Web UI: http://localhost:8088

调整资源

可以通过修改配置文件来调整 Hadoop 集群的资源分配。例如：

调整 YARN 资源管理器的内存和 CPU: 编辑 $HADOOP_HOME/etc/hadoop/yarn-site.xml 文件，添加或修改以下属性：

<property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>1024</value>
</property>
<property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>8192</value>
</property>
<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>8192</value>
</property>

调整 MapReduce 任务的内存和 CPU: 编辑 $HADOOP_HOME/etc/hadoop/mapred-site.xml 文件，添加或修改以下属性：

<property>
    <name>mapreduce.map.memory.mb</name>
    <value>2048</value>
</property>
<property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>4096</value>
</property>

4. 停止 Hadoop 集群

停止 HDFS 和 YARN：

stop-dfs.sh
stop-yarn.sh

通过以上步骤，你可以在 Ubuntu 上安装、配置和管理 Hadoop 集群，并根据需要调整资源分配。

0 赞

0 踩