hive中任意相邻时间段数据获取

发布时间:2020-07-21 05:57:13 作者:abebill
来源:网络 阅读:1216

通过sql语句获取相邻时段数据不比通过其它编程语言,因为sql里面没有for循环,故在实现时需要增加一份副表数据,这里对该方法做一个记录。
背景:获取2017年全年平台用户进出贵州省的次数(分为进港次数和出港次数)。
处理方式:
1.根据定位数据获取当年在贵州出现过的用户
2.获取这些用户的全部定位数据,并根据定位时间进行排序
hive中任意相邻时间段数据获取
如上,从左到右以此分别为用户id,定位时间,定位省份id,排序编号,是否定位在贵州
3.这里考虑根据if_loc这个字段来判断用户是入港还是出港,但是仅仅依靠这张a表还无法完全实现,因此考虑增加一张b表,b表的数据来自于a表,但两张表对rn值对应的数据会有一些差别
hive中任意相邻时间段数据获取
其中 b.rn_b = a.rn - 1
4.两张表进行关联,获取进港、出港标签port_flag

select a.bid,a.uploadtime,a.province_id,b.if_loc_b - a.if_loc port_flag
from  a
inner join  b on (a.bid = b.bid and a.rn = b.rn_b)

当port_flag = 1 时为入港,port_flag = -1 时为出港,port_flag = 0时为港内持续定位。

入港和出港涉及到两个时段的定位数据,通过这种方式,自然也可以获取到两个时段内的其它数据。

推荐阅读:
  1. Amazon云端数据获取
  2. JS怎么判断时间段

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

sql提取任意两个时段内数据 数据获取

上一篇:mysqldump+binlog的备份与恢复和xtrabackup备份工具

下一篇:Dameware Mini Remote Control 连接记录恢复

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》