如何利用脚本自动化CentOS HDFS配置

要利用脚本自动化CentOS上的HDFS（Hadoop分布式文件系统）配置，可以编写Shell脚本来简化安装和配置过程。以下是一个基本的示例脚本，展示了如何自动化一些常见的HDFS配置步骤：

#!/bin/bash

# 设置Hadoop安装目录
HADOOP_HOME=/usr/local/hadoop

# 设置HDFS数据目录
HDFS_DATA_DIR=/data/hdfs

# 设置HDFS日志目录
HDFS_LOG_DIR=/var/log/hadoop-hdfs

# 创建HDFS数据目录
mkdir -p $HDFS_DATA_DIR

# 创建HDFS日志目录
mkdir -p $HDFS_LOG_DIR

# 配置hdfs-site.xml
cat <<EOF > $HADOOP_HOME/etc/hadoop/hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>$HDFS_DATA_DIR/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>$HDFS_DATA_DIR/datanode</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>secondarynamenode:50090</value>
    </property>
    <property>
        <name>dfs.namenode.checkpoint.dir</name>
        <value>$HDFS_DATA_DIR/checkpoint</value>
    </property>
    <property>
        <name>dfs.namenode.checkpoint.edits.dir</name>
        <value>$HDFS_DATA_DIR/checkpoint/edits</value>
    </property>
</configuration>
EOF

# 配置core-site.xml
cat <<EOF > $HADOOP_HOME/etc/hadoop/core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>$HDFS_DATA_DIR/tmp</value>
    </property>
</configuration>
EOF

# 配置yarn-site.xml（如果需要）
cat <<EOF > $HADOOP_HOME/etc/hadoop/yarn-site.xml
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>
EOF

# 格式化HDFS（仅在第一次运行时需要）
if [ ! -d "$HDFS_DATA_DIR/namenode" ]; then
    $HADOOP_HOME/sbin/hdfs namenode -format
fi

# 启动HDFS
$HADOOP_HOME/sbin/start-dfs.sh

# 检查HDFS状态
$HADOOP_HOME/sbin/hdfs dfsadmin -report

echo "HDFS configuration completed successfully."

使用说明：

1. 保存脚本：将上述脚本保存为一个文件，例如setup_hdfs.sh。
2. 赋予执行权限：使用chmod +x setup_hdfs.sh命令赋予脚本执行权限。
3. 运行脚本：使用./setup_hdfs.sh命令运行脚本。

注意事项：

• 确保Hadoop已经安装在/usr/local/hadoop目录下，或者根据实际情况修改脚本中的HADOOP_HOME变量。
• 根据实际需求调整HDFS配置参数，例如副本数、数据目录等。
• 如果集群中有多个节点，需要在每个节点上运行相应的启动命令。
• 确保防火墙允许HDFS所需的端口通信。

通过这种方式，可以大大简化HDFS的配置过程，提高部署效率。