hdfs在centos上的配置技巧

在CentOS上配置Hadoop分布式文件系统（HDFS）是一个复杂但非常有用的过程。以下是一些关键步骤和技巧，可以帮助你顺利完成配置。

准备工作

1. 安装Java：

   • 确保系统已安装合适的JDK版本，并配置好JAVA_HOME环境变量。
   • 安装命令：sudo yum install -y java-1.8.0-openjdk-devel
   • 配置环境变量：

     export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
     export PATH=$JAVA_HOME/bin:$PATH
     

     使用命令：source /etc/profile 使配置生效。

2. 安装Hadoop：

   • 下载对应版本的Hadoop发行包，并解压到指定目录（例如 /usr/local/hadoop）。

环境配置

1. 设置环境变量：

   • 编辑 /etc/profile 文件，添加以下内容：

     export HADOOP_HOME=/usr/local/hadoop
     export PATH=$HADOOP_HOME/bin:$PATH
     export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
     

     使用命令：source /etc/profile 使配置生效。

2. SSH免密登录：

   • 为所有Hadoop节点配置SSH免密登录。
   • 使用 ssh-keygen -t rsa 生成密钥对，然后使用 ssh-copy-id user@nodeX 将公钥复制到每个节点。

网络配置

1. 主机名和静态IP：

   • 确保每个节点的主机名正确配置并可通过网络访问。
   • 为每个节点配置静态IP地址。编辑网络配置文件（例如 /etc/sysconfig/network-scripts/ifcfg-eth0），设置静态IP、子网掩码和网关。

2. 时间同步：

   • 使用NTP服务同步所有节点的时间。
   • 安装NTP：sudo yum install ntp
   • 同步时间：sudo ntpdate ntp.aliyun.com

HDFS配置

1. 核心配置文件 (core-site.xml)：

   • 配置HDFS默认文件系统。
   • 修改 $HADOOP_HOME/etc/hadoop/core-site.xml 文件，添加以下内容：

     <configuration>
         <property>
             <name>fs.defaultFS</name>
             <value>hdfs://namenode_hostname:9000</value>
         </property>
     </configuration>
     

     将 namenode_hostname 替换为NameNode节点的主机名。

2. HDFS配置文件 (hdfs-site.xml)：

   • 配置HDFS数据存储路径和副本数等。
   • 修改 $HADOOP_HOME/etc/hadoop/hdfs-site.xml 文件，添加以下内容：

     <configuration>
         <property>
             <name>dfs.namenode.name.dir</name>
             <value>/path/to/namenode/data</value>
         </property>
         <property>
             <name>dfs.datanode.data.dir</name>
             <value>/path/to/datanode/data</value>
         </property>
         <property>
             <name>dfs.replication</name>
             <value>3</value>
         </property>
     </configuration>
     

     将 /path/to/namenode/data 和 /path/to/datanode/data 替换为NameNode和DataNode的数据存储目录。

格式化NameNode

在NameNode节点上执行以下命令格式化NameNode：

$HADOOP_HOME/bin/hdfs namenode -format

启动HDFS

在NameNode节点上执行以下命令启动HDFS集群：

$HADOOP_HOME/sbin/start-dfs.sh

验证和停止

1. 验证：

   • 使用 jps 命令检查HDFS守护进程是否已启动。
   • 访问 http://namenode_hostname:50070 查看HDFS Web UI。

2. 停止：

   • 在NameNode节点上执行以下命令停止HDFS集群：

     $HADOOP_HOME/sbin/stop-dfs.sh
     

高级配置技巧

1. 配置存储策略：

   • 使用HDFS的存储策略功能，如将热数据、温数据和冷数据分别存储在不同的存储介质上，以提高性能和降低成本。

2. SSH免密登录：

   • 配置SSH免密登录，以便在集群节点之间无缝切换，无需输入密码。

3. 高可用性配置：

   • 配置ZooKeeper以实现HDFS高可用性。
   • 编辑 hdfs-site.xml 文件，添加以下内容：

     <property>
         <name>dfs.nameservices</name>
         <value>mycluster</value>
     </property>
     <property>
         <name>dfs.ha.namenodes.mycluster</name>
         <value>nn1,nn2</value>
     </property>
     <property>
         <name>dfs.namenode.rpc-address.mycluster.nn1</name>
         <value>namenode1:8020</value>
     </property>
     <property>
         <name>dfs.namenode.rpc-address.mycluster.nn2</name>
         <value>namenode2:8020</value>
     </property>
     <property>
         <name>dfs.namenode.http-address.mycluster.nn1</name>
         <value>namenode1:50070</value>
     </property>
     <property>
         <name>dfs.namenode.http-address.mycluster.nn2</name>
         <value>namenode2:50070</value>
     </property>
     <property>
         <name>dfs.namenode.shared.edits.dir</name>
         <value>qjournal://namenode1:8485;namenode2:8485;namenode3:8485/mycluster</value>
     </property>
     <property>
         <name>dfs.client.failover.proxy.provider.mycluster</name>
         <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
     </property>
     <property>
         <name>dfs.ha.fencing.methods</name>
         <value>sshfence</value>
     </property>
     <property>
         <name>dfs.ha.fencing.ssh.private-key-files</name>
         <value>/root/.ssh/id_rsa</value>
     </property>
     

通过以上步骤和技巧，你可以在CentOS上成功配置HDFS，并为后续的大数据处理和分析打下坚实的基础。