您好，登录后才能下订单哦！
密码登录
登录注册
点击 登录注册 即表示同意《亿速云用户服务条款》
set hive.fetch.task.conversion=more（默认）
1Fetch 抓取是指，Hive 中对某些情况的查询可以不必使用 MapReduce 计算。
该属性设置为 more 以后，在全局查找、字段查找、limit 查找等都不走 MapReduce。 设置为none后所有类型的查找语句都要走MapReduce；
set hive.exec.mode.local.auto=true（开启本地模式）
1Hive 可以通过本地模式在单台机器上 处理所有的任务。对于小数据集，执行时间可以明显被缩短
1.开启本地模式后需要设置local mr的最大输入数据量，当数据量小于这个值时采用local mr的方式
set hive.exec.mode.local.auto.inputbytes.max=134217728（默认）
12.开启本地模式后需要设置local mr的最大输入文件个数，当数据量小于这个值时采用local mr的方式
set hive.exec.mode.local.auto.input.files.max=4（默认）
1注: 新版的 hive 已经对小表 JOIN 大表和大表 JOIN 小表进行了优化。小表放在左边和右边已经没有明显区别
当一个表内有许多空值时会导致MapReduce过程中,空成为一个key值,对应的会有大量的value值, 而一个key的value会一起到达reduce造成内存不足;所以要想办法过滤这些空值.
1.通过查询所有不为空的结果
insert overwrite table jointable select n.* from
(select * from nullidtable where id is not null ) n left join ori o on n.id = o.id;
122.查询出空值并给其赋上随机数,避免了key值为空
insert overwrite table jointable
select n.* from nullidtable n full join ori o on
case when n.id is null then concat('hive', rand()) else n.id end = o.id;
123注:此方法可以解决数据倾斜的问题
如果不指定 MapJoin 或者不符合 MapJoin 的条件，那么 Hive 解析器会将 Join 操作转换成 Common Join，即：在 Reduce 阶段完成 join。容易发生数据倾斜。可以用 MapJoin 把小 表全部加载到内存在 map 端进行 join，避免 reducer 处理。
设置MapJoin
set hive.auto.convert.join = true(默认)
1大表小表的阀门值设置(默认25M以下认为是小表):
set hive.mapjoin.smalltable.filesize=25000000;
1默认情况下，Map 阶段同一 Key 数据分发给一个 reduce，当一个 key 数据过大时就倾斜了并不是所有聚合都在reduce端完成，很多聚合操作都可以现在Map端进行部分聚合，最后在Reduce段得到结果
开启Map端聚合参数设置
是否在Map段进行聚合，默认为true
hive.map.aggr = true
1在Map端进行聚合操作的条目数
hive.groupby.mapaggr.checkinterval = 100000
1有数据倾斜的时候进行负载均衡（默认是false）
hive.groupby.skewindata = true
1注： 当选项设定为 true，生成的查询计划会有两个 MR Job。第一个 MR Job 中，Map 的输出结果会随机分布到 Reduce 中，每个 Reduce 做部分聚合操作，并输出结果，这样处理的结果是相同的 Group By Key 有可能被分发到不同的 Reduce 中，从而达到负载均衡的目的；第二个 MR Job 再根据预处理的数据结果按照 Group By Key 分布到 Reduce 中（这个过程可以 保证相同的 Group By Key 被分布到同一个 Reduce 中），最后完成最终的聚合操作。
Count Distinct是使用了一个mapreduce ，当数据较少时无影响当数据较大时 只使用一个MapReduce将很难完成job。这是需要用到分组 Group BY 会使用2个MapReduce完成因为设置了 set mapreduce.job.reduces = 5; 所以第一个MapReduce的过程是通过一个map和5个reduce来完成这样减轻了reduce的负载， 虽然会多用一个 Job 来完成，但在数据量大的情况下，这个绝对是值得的。
实例：
1.测试先关联两张表，再用 where 条件过滤
hive (default)> select o.id from bigtable bjoin ori o on o.id = b.idwhere o.id <= 10;
12.通过子查询后，再关联表
hive (default)> select b.id from bigtable b join (select id from ori where id <= 10 ) o on b.id = o.id;
1关系型数据库中，对分区表 Insert 数据时候，数据库自动会根据分区字段的值，将数据插入到相应的分区中，Hive 中也提供了类似的机制，即动态分区(Dynamic Partition)，只不过，使用 Hive 的动态分区，需要进行相应的配置。
首先要设置的属性
set hive.exec.dynamic.partition = true;
set hive.exec.dynamic.partition.mode = nonstrict;
set hive.exec.max.dynamic.partitions = 1000;
set hive.exec.max.dynamic.partitions.pernode = 100;
set hive.exec.max.created.files = 100000;
set hive.error.on.empty.partition = false;
123456模拟动态分区
insert overwrite table ori_partitioned_target partition (p_time)
select id, time, uid, keyword, url_rank, click_num, click_url, p_time from ori_partitioned;
12设置切片值
set mapreduce.input.fileinputformat.split.maxsize=？？？
1在 map 执行前合并小文件，减少 map 数：CombineHiveInputFormat 具有对小文件进行
合并的功能（系统默认的格式）。HiveInputFormat 没有对小文件合并功能。
set hive.input.format= org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
1 set mapreduce.job.maps =？？？
11.调整reduce的个数方法一
每个Reduce处理的数据默认是256MB
hive.exec.reducers.bytes.per.reducer=256000000
1每个任务最大的reduce数，默认为1009
hive.exec.reducers.max=1009
1计算reduce数的公式
N=min(参数2，总输入数据量/参数1)
12.调整reduce个数的方法二
set mapreduce.job.reduces=？？？
13.reduce个数不是越多越好
通过设置参数 hive.exec.parallel 值为 true，就可以开启并发执行。不过，在共享集群中，需要注意下，如果 job 中并行阶段增多，那么集群利用率就会增加。
set hive.exec.parallel=true; //打开任务并行执行
set hive.exec.parallel.thread.number=16; //同一个 sql 允许最大并行度，默认为 8。免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。