如何在centos上部署hdfs配置

在CentOS上部署HDFS（Hadoop分布式文件系统）需要遵循一系列步骤来确保集群的正确配置和运行。以下是一个基本的指南，用于在CentOS上设置HDFS：

前提条件

• 确保你有CentOS操作系统。
• 安装Java环境（Hadoop需要Java）。
• 至少三台服务器（一台NameNode，两台DataNode）用于测试目的。

步骤 1: 安装Java

Hadoop需要Java环境，所以首先安装Java：

sudo yum install java-1.8.0-openjdk-devel

步骤 2: 下载并解压Hadoop

从Apache Hadoop官网下载最新版本的Hadoop，并解压到所有节点的相同路径：

wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -xzvf hadoop-3.3.1.tar.gz
sudo mv hadoop-3.3.1 /usr/local/hadoop

步骤 3: 配置Hadoop环境变量

编辑/etc/profile.d/hadoop.sh文件，添加以下内容：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使配置生效：

source /etc/profile.d/hadoop.sh

步骤 4: 配置Hadoop

编辑Hadoop配置文件，这些文件位于$HADOOP_HOME/etc/hadoop目录下。

core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode:9000</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/path/to/namenode/dir</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/path/to/datanode/dir</value>
    </property>
</configuration>

yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

步骤 5: 格式化NameNode

在NameNode节点上执行以下命令来格式化HDFS：

hdfs namenode -format

步骤 6: 启动HDFS

在NameNode节点上启动HDFS：

start-dfs.sh

步骤 7: 验证HDFS

使用以下命令检查HDFS状态：

hdfs dfsadmin -report

或者尝试在HDFS上创建一个目录：

hdfs dfs -mkdir /test

步骤 8: 配置SSH无密码登录

为了能够在集群中的节点之间无缝移动，需要配置SSH无密码登录：

ssh-keygen -t rsa
ssh-copy-id hadoop@datanode1
ssh-copy-id hadoop@datanode2

替换hadoop为实际的用户名，datanode1和datanode2为DataNode节点的主机名或IP地址。

步骤 9: 启动YARN（可选）

如果你还想使用YARN资源管理器，可以在ResourceManager节点上启动它：

start-yarn.sh

步骤 10: 验证YARN（可选）

使用以下命令检查YARN状态：

yarn node -list

或者尝试提交一个MapReduce作业来测试YARN。

请注意，这些步骤提供了一个基本的HDFS部署指南。根据你的具体需求和环境，可能需要进行额外的配置和调整。在生产环境中部署Hadoop集群时，还需要考虑安全性、高可用性、监控和日志记录等方面。