hive中的mapjoin怎么用

发布时间：2021-12-10 09:45:59 作者：小新
来源：亿速云阅读：840

# Hive中的MapJoin怎么用

## 一、什么是MapJoin

MapJoin（Map端连接）是Hive中一种高效的Join优化技术，它通过将小表完全加载到内存中，在Map阶段直接完成连接操作，避免了Shuffle和Reduce阶段的昂贵开销。这种技术特别适用于**大表关联小表**的场景。

### 核心原理
1. **内存加载**：将小表数据加载到内存中的哈希表
2. **Map阶段完成连接**：大表数据流过时直接与内存中的小表数据匹配
3. **避免Shuffle**：不需要将数据通过网络传输到Reducer

## 二、MapJoin的触发条件

Hive会自动决定是否使用MapJoin，主要依据以下条件：

| 条件 | 说明 |
|------|------|
| 小表大小 | 默认25MB以下（hive.mapjoin.smalltable.filesize控制） |
| Join类型 | 只适用于等值连接（Equi-Join） |
| 表数量 | 支持多表连接，但所有小表总和需小于阈值 |

**手动强制开启**：
```sql
-- 在查询前设置（会话级生效）
SET hive.auto.convert.join=true;  -- 默认true
SET hive.auto.convert.join.noconditionaltask=true;
SET hive.auto.convert.join.noconditionaltask.size=10000000; -- 调整小表阈值

三、MapJoin的使用方法

1. 自动触发（推荐）

当满足条件时Hive自动优化：

SELECT /*+ MAPJOIN(small_table) */ 
    big_table.id, small_table.name
FROM big_table 
JOIN small_table ON big_table.id = small_table.id;

2. 手动提示（Hints语法）

明确指定使用MapJoin：

-- 标准写法
SELECT /*+ MAPJOIN(b) */ 
    a.key, b.value
FROM big_table a 
JOIN small_table b ON a.key = b.key;

-- 多表情况
SELECT /*+ MAPJOIN(b, c) */ 
    a.key, b.val1, c.val2
FROM big_table a
JOIN small_table1 b ON a.key = b.key
JOIN small_table2 c ON a.key = c.key;

3. 参数配置优化

在hive-site.xml或会话中设置：

<!-- 关键参数配置 -->
<property>
    <name>hive.auto.convert.join</name>
    <value>true</value>
</property>
<property>
    <name>hive.mapjoin.smalltable.filesize</name>
    <value>25000000</value> <!-- 25MB -->
</property>

四、MapJoin的优缺点分析

优势

✓ 性能提升：减少I/O和网络传输
✓ 避免数据倾斜：不依赖Reduce阶段
✓ 资源利用：并行处理能力更强

局限性

✗ 内存限制：小表必须能完全装入内存
✗ 只支持等值连接
✗ 对非分区表效果更明显

五、性能优化技巧

1. 合理设置小表阈值

-- 根据集群内存调整（示例设为50MB）
SET hive.mapjoin.smalltable.filesize=50000000;

2. 多级MapJoin优化

-- 嵌套MapJoin示例
SELECT /*+ MAPJOIN(b) MAPJOIN(c) */ 
    a.col1, b.col2, c.col3
FROM big_table a
JOIN (SELECT /*+ MAPJOIN(c) */ * FROM medium_table b JOIN tiny_table c ON b.id = c.id) subq
ON a.id = subq.id;

3. 倾斜数据特殊处理

-- 对倾斜键单独处理
SET hive.optimize.skewjoin=true;
SET hive.skewjoin.key=100000; -- 超过10万条视为倾斜

六、实际案例演示

案例1：用户行为分析

-- 用户日志表（10亿条）关联用户信息表（1万条）
SET hive.auto.convert.join=true;
SET hive.mapjoin.smalltable.filesize=50000000;

SELECT 
    l.user_id, u.user_name, COUNT(*) as action_count
FROM user_logs l
JOIN user_info u ON l.user_id = u.user_id
GROUP BY l.user_id, u.user_name;

执行计划观察：
在EXPLN输出中查找”Map Join Operator”确认生效

案例2：多表关联场景

-- 订单表（大）关联商品表（小）+商家表（小）
SELECT /*+ MAPJOIN(p, s) */ 
    o.order_id, p.product_name, s.store_name
FROM orders o
JOIN products p ON o.pid = p.product_id
JOIN stores s ON o.store_id = s.store_id;

七、常见问题排查

Q1：MapJoin未生效怎么办？

检查表大小是否超过阈值
确认hive.auto.convert.join=true
验证是否为等值连接条件

Q2：出现内存溢出错误

-- 解决方案
SET hive.mapjoin.localtask.max.memory.usage=0.8; -- 降低内存使用比例
SET hive.mapjoin.check.memory.rows=100000; -- 增加内存检查频率

Q3：如何确认MapJoin生效？

EXPLN EXTENDED 
SELECT /*+ MAPJOIN(a) */ * FROM big_table b JOIN small_table a ON b.id = a.id;

在输出中查找：

...Map Join Operator...

八、进阶使用技巧

1. Bucket MapJoin

当表分桶且连接键是分桶列时：

SET hive.optimize.bucketmapjoin=true;

2. Sorted Merge MapJoin

对排序表更高效：

SET hive.optimize.bucketmapjoin.sortedmerge=true;

3. 本地模式优化

SET hive.auto.convert.join.noconditionaltask=true;
SET hive.auto.convert.join.noconditionaltask.size=12MB;

九、总结

MapJoin是Hive性能优化的利器，通过合理配置： - 可使Join操作速度提升5-10倍 - 建议将频繁使用的小表控制在50MB以内 - 结合EXPLN命令验证执行计划

最佳实践：监控作业执行时间，通过HiveServer2日志观察MapJoin的自动转换过程，根据实际效果动态调整参数。 “`