您好，登录后才能下订单哦！
密码登录
登录注册
点击 登录注册 即表示同意《亿速云用户服务条款》
这篇文章主要为大家展示了“hadoop中map如何输出”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下“hadoop中map如何输出”这篇文章吧。
Mapper 的输入官方文档如下
The Mapper outputs are sorted and then partitioned per Reducer. The total number of partitions is the same as the number of reduce tasks for the job. Users can control which keys (and hence records) go to which Reducer by implementing a custom Partitioner.
mapper的输出是已经排序并且针对每个reducer划分开的，那么hadoop代码是如何划分的，这里将跟从代码分析。
还是根据官方示例WordCount的示例
第一次分析为了简化map的输出复杂情况，
只分析一个文档，并且其中只有10个'单词'，分别为“J", .."c", "b", "a" ( 这里10个字母最好是乱序的，后面会看到其排序)，
注释掉设置combine class的代码。
可以追踪到最终实际是由org.apache.hadoop.mapred.MapTask.MapOutputBuffer.collect(K, V, int）
这里因为我们的output 只有10个Record 且每个大小都比较小，所以跳过了spill了处理以及combine处理，主要代码如下，
public synchronized void collect(K key, V value, final int partition ) throws IOException {
{
...
keySerializer.serialize(key);
...
valSerializer.serialize(value);
.... kvmeta.put(kvindex + PARTITION, partition); kvmeta.put(kvindex + KEYSTART, keystart);
kvmeta.put(kvindex + VALSTART, valstart);
kvmeta.put(kvindex + VALLEN, distanceTo(valstart, valend)); ...
}
这里实际是将（K,V） 序列化到了byte数组org.apache.hadoop.mapred.MapTask.MapOutputBuffer.kvbuffer 中，
并将（K,V）在内存中的位置信息 以及 其partition(相同partition的record由同一个reducer处理) 消息 存在 kvmeta 中.
到此map的输出都存在了内存中
可以找到在 org.apache.hadoop.mapred.MapTask.MapOutputBuffer.sortAndSpill() 中找到有使用，设置断点，看到如下，
private void sortAndSpill() throws IOException, ClassNotFoundException, InterruptedException { ...
sorter.sort(MapOutputBuffer.this, mstart, mend, reporter);
...
for (int i = 0; i < partitions; ++i) {
...
if (combinerRunner == null) {
// spill directly DataInputBuffer key = new DataInputBuffer();
while (spindex < mend &&
kvmeta.get(offsetFor(spindex % maxRec) + PARTITION) == i) {
....
writer.append(key, value);
++spindex;
}
} ...
spillRec.putIndex(rec, i);
}
...
indexCacheList.add(spillRec);
...}
这里有三个操作，
1. Sorter.sort ：是以partition 和key 来排序的,目的是聚合相同partition的record, 并以key的顺序排列。
2. writer.append : 将序列化的record 写入输出流，这里写入到文件spill0.out
3. indexCacheList.add : 每个spillRec记录某个spill out文件中包含的partition信息。
在此设置断点，可以看到这里我们只有一个spill文件，不需要merge，
这里只是唯一的spillRec 写入到到文件中, file.out.index
将spill0.out 重命名为file.out， 可以vim打开这个文件看到里面存在顺序号的字符。
private void mergeParts() throws IOException, InterruptedException, ClassNotFoundException {
...
sameVolRename(filename[0],
mapOutputFile.getOutputFileForWriteInVolume(filename[0]));...
indexCacheList.get(0).writeToFile(
mapOutputFile.getOutputIndexFileForWriteInVolume(filename[0]), job);
...}
总结如下：
1. map的输出首先序列化到内存中kvbuffer，kvmeta
2. sortAndSpill 会将内存中的record写入到文件中
3. merge将spill出的文件merge问一个文件file.out，并将每个文件中partition的信息写入file.out.index
还没分析的情况：
map 输出大量数据，出现多个spill 文件的复杂情况的细节（1. 异步spill， 2. merge 多个文件）
以上是“hadoop中map如何输出”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注亿速云行业资讯频道！
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。