大数据中常见的文件存储格式以及hadoop中支持的压缩算法

在大数据中常见的文件存储格式有：

1. 文本文件（Text File）：以纯文本的形式保存数据，例如CSV格式或JSON格式。

2. 序列文件（Sequence File）：一种二进制格式，用于存储键值对，适合于Hadoop的MapReduce程序。

3. Avro文件：一种数据序列化系统，可以将数据结构保存在文件中，使其独立于编程语言。

4. Parquet文件：一种列式存储格式，适合于大规模数据分析，可以高效地读取和写入数据。

5. ORC文件：一种列式存储格式，优化了数据压缩和读取效率，适合于高效的分析查询。

在Hadoop中支持的压缩算法有：

1. Gzip：一种通用的压缩算法，可以显著减小文件大小，但读写速度较慢。

2. Snappy：一种快速的压缩/解压缩算法，适合于高速数据处理。

3. LZO：一种高压缩比的压缩算法，适合于大规模数据处理，但需要额外的安装和配置。

4. Bzip2：一种高压缩比的压缩算法，适合于存储和传输数据，但压缩和解压缩速度较慢。

5. LZ4：一种快速的压缩/解压缩算法，适合于实时数据处理，可以提供较高的压缩速度和解压缩速度。