Linux下Hadoop资源怎么分配

在Linux下分配Hadoop资源，通常涉及以下几个关键步骤：

1. 配置系统环境：

• 关闭防火墙：

systemctl stop firewalld
systemctl disable firewalld

• 关闭SELinux：

setenforce 0

或修改配置文件永久关闭：

vi /etc/selinux/config
# 将 SELINUX=enforcing 改成 SELINUX=disabled

• 配置网络：

# 编辑网络配置文件，例如 /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.140.130
GATEWAY=192.168.140.2
NETMASK=255.255.255.0
DNS1=119.29.29.294
# 重启网络服务
systemctl restart network

• 关闭NetworkManager（如果与网络服务冲突）：

systemctl stop NetworkManager
systemctl disable NetworkManager

2. 安装Java：

yum install -y java-1.8.0-openjdk-devel
java -version

3. 配置Hadoop用户和环境变量：

• 创建Hadoop用户：

useradd hadoop
passwd hadoop

• 配置环境变量：

编辑 /etc/profile 或 /root/.bashrc，添加：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.362.b09-4.el9.x86_64/jre
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使配置生效：

source /etc/profile

4. 下载和解压Hadoop：

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
tar -zxf hadoop-3.3.4.tar.gz -C /opt/

5. 配置Hadoop：

• 配置 hadoop-env.sh：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.362.b09-4.el9.x86_64/jre

• 配置 core-site.xml：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mast</value>
    </property>
</configuration>

• 配置 hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/path/to/hadoop/data/dfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/path/to/hadoop/data/dfs/datanode</value>
    </property>
</configuration>

• 配置 mapred-site.xml（如果需要YARN支持）：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

6. 格式化HDFS：

hdfs namenode -format

7. 启动Hadoop集群：

start-dfs.sh
start-yarn.sh

8. 验证Hadoop集群：

使用 jps 命令查看所有正在运行的Java进程，确认YARN资源管理器和HDFS是否已经启动。

以上步骤是在Linux系统下分配Hadoop资源的基本流程。具体的配置可能会因不同的需求和环境而有所不同，建议在部署前详细阅读Hadoop官方文档，并根据实际情况进行调整。