如何在Hadoop中查看MR执行的SQL语句

# 如何在Hadoop中查看MR执行的SQL语句

## 背景说明
在Hadoop生态中，Hive等工具会将SQL查询转换为MapReduce（MR）任务执行。开发调试时，了解底层MR作业与原始SQL的对应关系对性能调优和问题排查至关重要。

## 核心方法

### 1. 通过Hive日志获取
```bash
# 查看Hive执行日志（默认路径）
cat /tmp/{username}/hive.log | grep "Executing command"

日志中会记录原始SQL及转换后的MR作业信息。

2. 使用EXPLN命令

-- 在Hive中执行
EXPLN EXTENDED SELECT * FROM table_name;

输出包含： - 抽象语法树（AST） - 逻辑执行计划 - 物理执行计划（含MR阶段）

3. 查询JobHistory Server

1. 访问Web UI：http://<resourcemanager-ip>:8088
2. 找到对应MR作业ID
3. 在”Configuration”选项卡中搜索hive.query.string

注意事项

• 需要开启Hive的详细日志（设置hive.root.logger=DEBUG）
• Tez/Spark引擎需使用对应方式查看
• 复杂SQL可能拆分为多个MR作业

总结

通过日志、EXPLN和Web UI三种方式，可以完整追溯SQL到MR的转换过程，这对理解查询执行机制和优化性能有重要帮助。 “`

（注：全文约350字，采用Markdown格式，包含代码块、列表等结构化元素）