Kafka 支持通过配置属性 compression.type 来控制是否对消息进行压缩。Kafka 主要采用批量压缩的方式，即生产者将多个消息打包成一个批次后进行压缩，然后发送到 Kafka Broker。这种方式可以减少网络传输和存储的开销，从而提高系统的吞吐量。
Kafka 支持的压缩算法
- Gzip：提供最高的压缩比，但 CPU 使用率也最高，压缩和解压缩速度较慢。
- Snappy：在 CPU 使用率、压缩比、压缩速度和网络带宽使用率之间实现良好的平衡，适合需要快速处理的场景。
- LZ4：压缩速度最快，但压缩比相对较低，适合需要低延迟的场景。
- Zstd：提供较高的压缩比和较快的压缩速度，是 Kafka 2.1.0 版本后引入的新压缩算法。
压缩的作用
- 降低网络带宽消耗：减少数据传输量，适用于跨数据中心同步。
- 提高 Kafka 生产者和消费者吞吐量：减少单个批次的大小，加快发送和接收速度。
- 减少 Kafka 磁盘存储占用：降低存储成本，适用于日志归档和数据存储优化。
在使用压缩时，需要权衡压缩比和性能开销，选择合适的压缩算法和级别。例如，Snappy 在保证合理压缩比的同时提供了极快的压缩和解压缩速度，适合于需要快速处理的场景。