CentOS HDFS配置与数据存储优化

在CentOS系统上配置和优化Hadoop分布式文件系统（HDFS）涉及多个步骤，包括安装必要的软件、配置环境变量、修改配置文件以及启动和验证HDFS服务。以下是一个详细的指南：

HDFS配置步骤

1. 安装Java环境：

   • 确保系统上安装了Java运行环境。可以从Oracle官网下载并安装JDK。

   wget https://download.oracle.com/otn/java/jdk/8u212-b09/d7fc27d8d8f94d369ac70d8d89f8a2f29d/jdk-8u212-linux-x64.tar.gz
   tar -zxvf jdk-8u212-linux-x64.tar.gz -C /usr/local/
   export JAVA_HOME=/usr/local/jdk1.8.0_212
   export PATH=$JAVA_HOME/bin:$PATH
   

2. 配置SSH免密登录：

   • 在所有节点上配置SSH免密登录，以便节点之间可以无密码通信。

   ssh-keygen -t rsa
   ssh-copy-id hadoop@namenode_host
   

3. 下载和解压Hadoop：

   • 从Apache Hadoop官方网站下载最新版本的Hadoop，并解压到指定目录。

   wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.16.2.tar.gz
   tar -zxvf hadoop-2.6.0-cdh5.16.2.tar.gz -C /usr/local/
   export HADOOP_HOME=/usr/local/hadoop-2.6.0-cdh5.16.2
   export PATH=$HADOOP_HOME/bin:$PATH
   

4. 配置Hadoop环境变量：

   • 编辑 /etc/profile 文件，添加Hadoop环境变量。

   vi /etc/profile
   export HADOOP_HOME=/usr/local/hadoop-2.6.0-cdh5.16.2
   export PATH=$HADOOP_HOME/bin:$PATH
   source /etc/profile
   

5. 修改Hadoop配置文件：

   • core-site.xml：

     <configuration>
         <property>
             <name>fs.defaultFS</name>
             <value>hdfs://namenode:9000</value>
         </property>
     </configuration>
     

   • hdfs-site.xml：

     <configuration>
         <property>
             <name>dfs.replication</name>
             <value>3</value>
         </property>
         <property>
             <name>dfs.namenode.name.dir</name>
             <value>/data/hdfs/namenode</value>
         </property>
         <property>
             <name>dfs.datanode.data.dir</name>
             <value>/data/hdfs/datanode</value>
         </property>
     </configuration>
     

   • slaves： 在 /etc/hadoop 目录下创建或编辑 slaves 文件，添加所有DataNode的主机名。

6. 格式化NameNode：

   • 在NameNode节点上执行以下命令格式化文件系统。

   hdfs namenode -format
   

7. 启动HDFS：

   • 在NameNode节点上启动HDFS服务。

   start-dfs.sh
   

8. 验证HDFS配置：

   • 可以通过Web界面验证HDFS配置是否成功。

   http://namenode:50070
   

HDFS数据存储优化

1. 数据块大小调整：

   • 默认值为128MB或256MB。根据数据访问模式调整，大文件和顺序读取较多的场景适合更大的块大小，小文件和随机访问频繁的应用可能更适合较小的块大小。

2. 副本放置策略：

   • 默认策略是将一个数据块的三个副本尽量分布在不同的机架上。可以通过修改 dfs.replication 参数来调整副本数，或者通过自定义副本放置策略来适应特定的网络拓扑。

3. 小文件优化：

   • 大量小文件会导致NameNode内存压力和元数据管理成本增加。可以使用SequenceFile、Har文件或Hadoop Archive (HAR) 来合并小文件。对于结构化的小文件，可以考虑使用HBase。

4. 存储层级：

   • 利用不同存储介质，在HDFS配置中指定某些副本保存在更快的存储介质上（如SSD）而其他副本在HDD。通过Hadoop的Erasure Coding或外部工具如Hadoop Tiered Storage (HATS) 实现冷热数据的自动迁移。

5. 多目录配置：

   • 通过配置 dfs.name.dir 为多个目录路径，增加NameNode元数据存储的可靠性。配置 dfs.datanode.data.dir 为多个路径，可以分散存储负载，提高存储效率，同时也增强了容错性。

6. 垃圾回收与空间回收：

   • 使用HDFS的垃圾回收机制清理不再使用的文件和旧版本的文件副本。定期进行空间使用审计，识别并处理异常占用空间的情况。

7. 容量调度与负载均衡：

   • 使用Hadoop自带的Balancer工具定期平衡各个DataNode上的存储负载。在YARN框架中，合理配置资源队列和调度策略，确保HDFS写入和读取任务的高效执行。

通过上述步骤和优化策略，可以在CentOS系统上成功配置和优化HDFS，从而提高大数据处理的效率和稳定性。