Ubuntu 上让 HDFS 支持多种数据格式的实践指南
HDFS 是面向“字节存储”的分布式文件系统，本身对文件内容“格式中立”。要在 Ubuntu 环境中让 HDFS 有效承载与处理多种数据格式，关键在于：选择并配置合适的文件格式/压缩编码、为计算引擎准备相应的读写器/编解码器、并在导入导出与作业参数中正确声明格式与压缩，必要时结合异构存储策略优化成本与性能。
一、原理与总体思路
- HDFS 以块为单位存储字节流，不强制文件格式；应用通过 Hadoop InputFormat/OutputFormat 与 SerDe/Codec 读写不同格式与压缩。
- 为获得良好的**可切分性（splittable）**与并行度，需优先选择支持切分的格式/压缩；否则大文件会被单个任务串行处理，影响性能。
- 常见格式按组织方式分为：面向行的 Text/CSV/JSON/SequenceFile/Avro，面向列的 Parquet/RCFile/ORC；列式格式在分析型查询中通常更高效。
二、常用数据格式与压缩选择
| 格式 |
存储取向 |
是否可切分 |
典型场景 |
压缩建议 |
| Text/CSV/JSON |
行式 |
否（整体不可分） |
原始日志、外部系统导入导出 |
结合可切分压缩（如 Bzip2），或按块生成多文件 |
| SequenceFile |
行式（KV） |
是（record/block 压缩） |
中间结果、合并小文件 |
选 BLOCK 压缩，兼顾压缩率与并行 |
| Avro |
行式 |
是（含同步标记） |
频繁写入、跨语言数据交换 |
选 Snappy/BLOCK 压缩 |
| Parquet |
列式 |
是（按行组） |
数仓/OLAP、列裁剪与谓词下推 |
Snappy/Gzip（按列编码更高效） |
| ORC |
列式 |
是（按条带） |
Hive 数仓、复杂类型 |
Zlib/Snappy |
| RCFile |
列式 |
是 |
Hive 早期列式场景 |
常用 Snappy |
- 压缩要点：
- Gzip：压缩率高，但文件整体不可切分；适合小文件或无需切分的场景。
- Bzip2：可切分、压缩率高，但压缩/解压慢；适合归档与离线处理。
- LZO：可切分（需建索引）、速度快；需额外安装与索引步骤。
- Snappy：速度快、压缩率中等；常用于中间数据与列式格式。
三、在 Ubuntu 上的落地步骤
- 安装与准备
- 安装 Hadoop（单节点或集群），确保 HADOOP_HOME、JAVA_HOME 正确，配置 core-site.xml/hdfs-site.xml（如 dfs.replication、dfs.blocksize），Ubuntu 下建议使用 OpenJDK 8/11 与 Hadoop 3.x。
- 选择格式与压缩
- 原始日志/外部导入：用 Text/CSV/JSON；为提升并行，按时间/业务键分区并生成多个文件，或选用可切分的 Bzip2。
- 频繁写入与跨语言：用 Avro（自带 Schema），配 Snappy 提升吞吐。
- 数仓/分析：优先 Parquet/ORC，配 Snappy/Gzip，获得列裁剪、谓词下推与编码收益。
- 读写与作业配置
- Hive/Spark：建表时显式声明 STORED AS PARQUET/ORC/AVRO 与 TBLPROPERTIES (“parquet.compression”=“SNAPPY”) 等；读取时选择对应 SerDe/InputFormat。
- 原生 MapReduce/命令行：使用 -inputformat/-outputformat 指定格式，或在代码/配置中设置 mapreduce.output.fileoutputformat.compress 与 mapreduce.output.fileoutputformat.compress.codec。
- 验证与运维
- 用 hdfs dfs -ls -h、hdfs dfs -cat/head 抽查样本；检查 文件大小、块数、压缩后大小 与 任务并行度 是否符合预期。
四、端到端示例流程
- 场景：将本地日志（CSV）导入 HDFS，转换为 Parquet + Snappy，供 Spark SQL 分析。
- 上传原始 CSV
- hdfs dfs -mkdir -p /data/raw/logs
- hdfs dfs -put /opt/logs/events_2025-*.csv /data/raw/logs
- Hive 建表（外部表指向原始 CSV）
- CREATE EXTERNAL TABLE logs_raw (
ts BIGINT, level STRING, msg STRING
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘,’
STORED AS TEXTFILE
LOCATION ‘/data/raw/logs’;
- Hive 建 Parquet 目标表（列式 + 压缩）
- CREATE TABLE logs_parquet (
ts BIGINT, level STRING, msg STRING
)
STORED AS PARQUET
TBLPROPERTIES (“parquet.compression”=“SNAPPY”);
- 导入转换
- INSERT OVERWRITE TABLE logs_parquet
SELECT ts, level, msg FROM logs_raw;
- 验证
- hdfs dfs -ls /warehouse/db.db/logs_parquet
- spark-sql -e “SELECT level, COUNT(*) FROM logs_parquet GROUP BY level;”
- 若采用 LZO：需先安装 lzo 编解码器并为 LZO 文件建立索引，才能在 MapReduce/Spark 中按块切分并行读取。
五、性能与成本优化建议
- 提升并行度与均衡负载
- 让“压缩后文件大小”接近 HDFS 块大小（如 128MB/256MB） 的整数倍；避免产生大量小文件；列式格式按行组/条带合理设置大小。
- 选择可切分压缩
- 大文件优先 Bzip2/LZO（建索引）/Snappy（配合可切分容器）；避免对超大文件使用 Gzip 导致单任务瓶颈。
- 利用列式优势
- 分析查询优先 Parquet/ORC，开启列裁剪、谓词下推、压缩编码；写入侧合理设置压缩算法与块大小以平衡吞吐与压缩率。
- 异构存储与生命周期
- 结合 HOT/WARM/COLD/LAZY_PERSIST 等存储策略，将热数据放在 SSD/内存，冷数据沉到 归档存储，在 HDFS 目录上设置 Storage Policy，降低总体成本。