HDFS在CentOS上怎样快速配置

在CentOS上配置Hadoop分布式文件系统（HDFS）涉及多个步骤，以下是一个基本的快速配置指南：

准备工作

1. 安装Java: 确保系统已安装合适的JDK版本，并配置好JAVA_HOME环境变量。

   sudo yum install java-1.8.0-openjdk-devel
   export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
   export PATH=$JAVA_HOME/bin:$PATH
   

2. 安装Hadoop: 下载对应版本的Hadoop发行包，并解压到指定目录（例如/usr/local/hadoop）。

   wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
   tar -xzvf hadoop-3.3.4.tar.gz -C /usr/local/
   

环境配置

1. 设置环境变量: 编辑/etc/profile文件，添加以下环境变量。

   export HADOOP_HOME=/usr/local/hadoop
   export PATH=$HADOOP_HOME/bin:$PATH
   

   保存文件后，运行以下命令使配置生效。

   source /etc/profile
   

SSH免密登录

1. 生成SSH密钥对:

   ssh-keygen -t rsa
   

2. 将公钥复制到所有节点:

   ssh-copy-id user@nodeX
   

网络配置

1. 主机名: 确保每个节点的主机名正确配置并可通过网络访问。
2. 静态IP: 为每个节点配置静态IP地址。编辑网络配置文件（例如/etc/sysconfig/network-scripts/ifcfg-eth0），设置静态IP、子网掩码和网关。

   DEVICE=eth0
   BOOTPROTO=static
   IPADDR=192.168.1.100
   NETMASK=255.255.255.0
   GATEWAY=192.168.1.1
   ONBOOT=yes
   

3. 时间同步: 使用NTP服务同步所有节点的时间。

   sudo yum install ntp
   sudo ntpdate ntp.aliyun.com
   

HDFS配置

1. 核心配置文件 (core-site.xml):

   <configuration>
       <property>
           <name>fs.defaultFS</name>
           <value>hdfs://namenode_hostname:9000</value>
       </property>
   </configuration>
   

2. HDFS配置文件 (hdfs-site.xml):

   <configuration>
       <property>
           <name>dfs.namenode.name.dir</name>
           <value>/path/to/namenode/data</value>
       </property>
       <property>
           <name>dfs.datanode.data.dir</name>
           <value>/path/to/datanode/data</value>
       </property>
       <property>
           <name>dfs.replication</name>
           <value>3</value>
       </property>
   </configuration>
   

格式化NameNode

在NameNode节点上执行以下命令格式化NameNode：

hdfs namenode -format

启动HDFS

在NameNode节点上执行以下命令启动HDFS集群：

start-dfs.sh

验证和停止

1. 验证: 使用jps命令检查HDFS守护进程是否已启动。
2. 访问Web界面: 在浏览器中访问http://namenode_hostname:50070查看HDFS Web UI。
3. 停止: 在NameNode节点上执行以下命令停止HDFS集群：

   stop-dfs.sh
   

以上步骤提供了一个基本的指南，具体的配置可能会根据Hadoop版本和具体需求有所不同。建议参考Hadoop官方文档进行详细配置。