HDFS在CentOS上的数据压缩策略

一、常用压缩算法及适用场景

• Snappy：高速压缩/解压，适用于MapReduce中间数据、实时场景，不支持分片。
• Gzip：高压缩比，速度快，适用于小文件（<130MB），如日志，不支持分片。
• Bzip2：高压缩比，支持分片，适合大文件归档，速度慢，Hadoop原生支持。
• LZO：速度较快，支持分片，适用于大文本文件（>200MB），需额外安装。
• Zstandard：高压缩比与速度，支持可变压缩比，需确认Hadoop版本兼容性。

二、配置步骤

1. 安装依赖包

   • 基础压缩库（如Gzip）通常已预装，LZO/Snappy需额外安装：

     sudo yum install lzo snappy-devel  # 安装LZO和Snappy库
     

2. 修改Hadoop配置文件

   • core-site.xml：指定压缩编解码器

     <property>
       <name>io.compression.codecs</name>
       <value>org.apache.hadoop.io.compress.SnappyCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec</value>
     </property>
     <property>
       <name>io.compression.codec.snappy.class</name>
       <value>org.apache.hadoop.io.compress.SnappyCodec</value>
     </property>
     

   • hdfs-site.xml：可调整块大小（如128MB或256MB）以适配压缩算法。
   • mapred-site.xml：启用MapReduce作业压缩

     <property>
       <name>mapreduce.map.output.compress</name>
       <value>true</value>
     </property>
     <property>
       <name>mapreduce.map.output.compress.codec</name>
       <value>org.apache.hadoop.io.compress.SnappyCodec</value>
     </property>
     

3. 重启服务生效

   sudo systemctl restart hadoop-namenode hadoop-datanode
   

三、注意事项

• 分片支持：选择支持分片的算法（如Bzip2、LZO）可提升并行处理效率。
• 性能测试：实际场景中需对比不同算法的压缩比、速度及CPU占用，优先选择平衡方案。
• 透明压缩：HDFS支持透明压缩，文件读取时会自动解压，无需额外处理。