Hadoop中怎么实现数据压缩

Hadoop中可以通过在MapReduce作业中设置压缩格式来实现数据压缩。Hadoop支持多种压缩格式，包括Gzip、Bzip2、Snappy、LZO等。可以在Hadoop的配置文件中指定使用的压缩格式，也可以在MapReduce作业中在JobConf中设置压缩格式。

以下是一个使用Gzip压缩格式的示例代码：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.compress.GzipCodec;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class MyJob {

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf, "MyJob");

        // 设置压缩格式为Gzip
        FileOutputFormat.setCompressOutput(job, true);
        FileOutputFormat.setOutputCompressorClass(job, GzipCodec.class);

        job.setJarByClass(MyJob.class);
        job.setMapperClass(MyMapper.class);
        job.setReducerClass(MyReducer.class);

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));

        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

在上面的示例代码中，通过调用FileOutputFormat.setCompressOutput方法和FileOutputFormat.setOutputCompressorClass方法来设置输出数据的压缩格式为Gzip。其他压缩格式的设置方式类似，只需将GzipCodec.class替换为对应的压缩格式类即可。

需要注意的是，压缩格式的选择要根据数据的特点和需求来确定，不同的压缩格式有不同的压缩率和性能表现。