您好,登录后才能下订单哦!
这篇文章给大家分享的是有关Hive中如何使用MAP JOIN的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。
Hive中简介及使用MAP JOIN
Hive中的Join可分为Common Join(Reduce阶段完成join)和Map Join(Map阶段完成join)。本文简单介绍一下mapjoin的原理和机制。
一、MAP JOIN图
二、概述
MapJoin通常用于一个很小的表和一个大表进行join的场景,具体小表有多小,由参数hive.mapjoin.smalltable.filesize来决定,该参数表示小表的总大小,默认值为25000000字节,即25M。
Hive0.7之前,需要使用hint提示 /*+ mapjoin(table) */才会执行MapJoin,否则执行Common Join,但在0.7版本之后,默认自动会转换Map Join,由参数hive.auto.convert.join来控制,默认为true.
假设a表为一张大表,b为小表,并且hive.auto.convert.join=true,那么Hive在执行时候会自动转化为MapJoin。
三、测试
1、两表关联:
点击(此处)折叠或打开
select e.empno,e.ename,e.deptno,d.deptno,d.dname from emp e join dept d on e.deptno = d.deptno;
条件:emp表数据为1000条,dept表数据为100条;
说明:执行时间mapjoin会通过元数据(metadata)进行查找,发现是否存在小表(根据hive.mpajoin.samlltable.filesize参数设置,判断是否为小表。此参数默认25M)。
存在小表时将先行进行小表加载到内存中,即dept表,如上HQL语句将dept表加载至内存中,最后再用emp表中数据一条一条与内存中数据进行关联查询。
2、多表关联
条件:emp表数据为1000条,dept表数据为100条,emp_partition表数据为500条;
点击(此处)折叠或打开
select e.empno,e.ename,e.deptno,d.deptno,d.dname from emp e join dept d join emp_partition c on e.deptno = d.deptno and e.empno = c.empno;
说明:执行时间mapjoin会通过元数据(metadata)进行查找,发现是否存在小表(根据hive.mpajoin.samlltable.filesize参数设置,判断是否为小表。此参数默认25M)。
存在小表时将先行进行小表加载到内存中,即dept、emp_partition表,如上HQL语句将dept表加载至内存中,最后再用emp表中数据一条一条与内存中数据进行关联查询。
注:以上可以对照SQL的执行计划或执行日志更详细,后续补充相关截图及说明
四、使用MAPJOIN可解决以下实际问题:
1、有一个极小的表<100行(d表是部门)
2、需要做不等值join操作(a.x<b.y或者a.x like="" b.y等)。普通join语法不支持不等于操作,hive语法解析会直接抛出错误。="" 五、相关参数
点击(此处)折叠或打开
1、小表自动选择Mapjoin
set hive.auto.convert.join=true;
默认值:false。该参数为true时,Hive自动对左边的表统计量,若是小表就加入内存,即对小表使用Map join
2、小表阀值
set hive.mapjoin.smalltable.filesize=25000000;
默认值:25M
hive.smalltable.filesize (replaced by hive.mapjoin.smalltable.filesize in Hive 0.8.1)
3、map join做group by操作时,可使用多大的内存来存储数据。若数据太大则不会保存在内存里
set hive.mapjoin.followby.gby.localtask.max.memory.usage;
默认值:0.55
4、本地任务可以使用内存的百分比
set hive.mapjoin.localtask.max.memory.usage;
默认值:0.90
感谢各位的阅读!关于“Hive中如何使用MAP JOIN”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识,如果觉得文章不错,可以把它分享出去让更多的人看到吧!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。