CentOS HDFS配置内存参数

在CentOS上配置HDFS（Hadoop分布式文件系统）的内存参数，通常涉及调整Hadoop集群中各个组件的JVM内存设置。以下是一些关键步骤和参数：

1. 配置hdfs-site.xml

编辑$HADOOP_HOME/etc/hdfs/hdfs-site.xml文件，添加或修改以下参数：

<property>
    <name>dfs.namenode.handler.count</name>
    <value>100</value>
</property>

<property>
    <name>dfs.datanode.handler.count</name>
    <value>100</value>
</property>

<property>
    <name>dfs.namenode.rpc-server.handler.count</name>
    <value>100</value>
</property>

<property>
    <name>dfs.namenode.http-server.handler.count</name>
    <value>50</value>
</property>

<property>
    <name>dfs.namenode.https-server.handler.count</name>
    <value>50</value>
</property>

<property>
    <name>dfs.namenode.info.secure.port</name>
    <value>50070</value>
</property>

<property>
    <name>dfs.namenode.info.secure.http.port</name>
    <value>50470</value>
</property>

<property>
    <name>dfs.namenode.info.secure.https.port</name>
    <value>50670</value>
</property>

<property>
    <name>dfs.namenode.info.secure.http.ssl.enabled</name>
    <value>true</value>
</property>

<property>
    <name>dfs.namenode.info.secure.https.ssl.enabled</name>
    <value>true</value>
</property>

<property>
    <name>dfs.namenode.info.secure.http.ssl.keystore.resource</name>
    <value>hdfs-keystore.jks</value>
</property>

<property>
    <name>dfs.namenode.info.secure.https.ssl.keystore.resource</name>
    <value>hdfs-keystore.jks</value>
</property>

<property>
    <name>dfs.namenode.info.secure.http.ssl.truststore.resource</name>
    <value>hdfs-truststore.jks</value>
</property>

<property>
    <name>dfs.namenode.info.secure.https.ssl.truststore.resource</name>
    <value>hdfs-truststore.jks</value>
</property>

<property>
    <name>dfs.namenode.info.secure.http.ssl.key.password</name>
    <value>your_keystore_password</value>
</property>

<property>
    <name>dfs.namenode.info.secure.https.ssl.key.password</name>
    <value>your_keystore_password</value>
</property>

<property>
    <name>dfs.namenode.info.secure.http.ssl.truststore.password</name>
    <value>your_truststore_password</value>
</property>

<property>
    <name>dfs.namenode.info.secure.https.ssl.truststore.password</name>
    <value>your_truststore_password</value>
</property>

2. 配置yarn-site.xml

编辑$HADOOP_HOME/etc/hadoop/yarn/yarn-site.xml文件，添加或修改以下参数：

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>8192</value>
</property>

<property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>1024</value>
</property>

<property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>8192</value>
</property>

<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

3. 配置core-site.xml

编辑$HADOOP_HOME/etc/hadoop/core-site.xml文件，确保包含以下参数：

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://namenode:8020</value>
</property>

<property>
    <name>hadoop.tmp.dir</name>
    <value>/path/to/hadoop-tmp</value>
</property>

4. 调整JVM内存参数

编辑$HADOOP_HOME/etc/hadoop/hadoop-env.sh文件，调整JVM内存参数：

export HADOOP_HEAPSIZE=4096
export YARN_HEAPSIZE=4096

5. 重启Hadoop服务

完成上述配置后，重启Hadoop集群中的所有服务以使更改生效：

stop-dfs.sh
stop-yarn.sh

start-dfs.sh
start-yarn.sh

注意事项

• 确保所有节点上的配置文件一致。
• 根据实际硬件资源和集群规模调整内存参数。
• 定期监控集群性能，根据需要进一步优化配置。

通过以上步骤，您可以在CentOS上成功配置HDFS的内存参数。