Ubuntu HDFS常用数据压缩策略及特点如下:
- Gzip:高压缩率、速度快,Hadoop原生支持,但不支持分片,适用于小文件(如日志,压缩后<130M)。
- Bzip2:高压缩率、支持分片,Hadoop原生支持,但速度慢,适合冷数据归档。
- LZO:速度较快、支持分片,需额外安装,适用于大文件(压缩后>200M)。
- Snappy:速度极快、压缩率适中,支持Hadoop Native库,不支持分片,适合MapReduce中间数据或实时处理。
- Zstandard(zstd):高压缩比、性能均衡,支持分片,适合平衡场景(需Hadoop 2.7+版本支持)。
选择建议:
- 追求速度:选Snappy或LZO。
- 追求压缩比:选Bzip2或Gzip。
- 大文件分片处理:选LZO或Bzip2。