mapreduce性能优化的方法是什么

这篇文章主要讲解了“mapreduce性能优化的方法是什么”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“mapreduce性能优化的方法是什么”吧！

map task 个数严重影响mr的性能。网上很多资料，讲解了原理和方法，我这里不再敖述。我总结了两种修改方法，希望对大家有帮助。

方法1：修改 hdfs 的blocksize，这种方法很不可取，需要重新启动集群。关键是以前的数据依然保持者以前blocksize的大小，新数据才会是新的blocksize的大小。比如以前是128M，修改为512M。以前的数据没变化，blocksize依然是128M。

方法二：推荐方法。代码中设置，最灵活，根据不同需求，设置不一样的值。设置 mapred.min.split.size 的大小代码中添加FileInputFormat.setMinInputSplitSize，单位是字节，如我的代码：

            job.setMapOutputValueClass(IntWritable.class);
            job.setNumReduceTasks(1);
            //设置最小分片为512M
            FileInputFormat.setMinInputSplitSize(job, 1024*1024*512);
            FileInputFormat.addInputPath(job, new Path("/usr/keyword/input"));

补充说明：

TextInputFormat.setMinInputSplitSize(job,1024L);//设置最小分片大小
TextInputFormat.setMaxInputSplitSize(job,1024×1024×10L);//设置最大分片大小

感谢各位的阅读，以上就是“mapreduce性能优化的方法是什么”的内容了，经过本文的学习后，相信大家对mapreduce性能优化的方法是什么这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是亿速云，小编将为大家推送更多相关知识点的文章，欢迎关注！