Spark Sql中FROM_UNIXTIME和UNIX_TIMESTAMP怎么使用

发布时间:2022-02-28 16:13:23 作者:iii
来源:亿速云 阅读:445

这篇文章主要介绍“Spark Sql中FROM_UNIXTIME和UNIX_TIMESTAMP怎么使用”,在日常操作中,相信很多人在Spark Sql中FROM_UNIXTIME和UNIX_TIMESTAMP怎么使用问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”Spark Sql中FROM_UNIXTIME和UNIX_TIMESTAMP怎么使用”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!

众所周知,数字整型用来大小比较和计算运算要比字符型快的多,因此部分业务需要把时间字段转化为整型方便业务的快速计算和到达,这个整形数字是选定的日期距UTC 时间 '1970-01-01 00:00:00' 开始的秒数,目前为十位,比如常用来举例的1234567890,但毕竟数字不方便观察,后续还需要把这些时间数字转换为真正的时间字段

这里就需要两个函数来进行转换UNIX_TIMESTAMP和FROM_UNIXTIME

咱们一一介绍

UNIX_TIMESTAMP

是把时间字段转化为整型,需要注意的是有些数据库需要指明时间字段类型
比如MySQL里是可以直接UNIX_TIMESTAMP('20200223'),而某些大数据平台需要UNIX_TIMESTAMP('20200223','yyyyMMdd')

Spark Sql中FROM_UNIXTIME和UNIX_TIMESTAMP怎么使用

FROM_UNIXTIME

顾名思义就是从整型里把时间整型进行破解成想要的时间格式,使用时可指定格式

Spark Sql中FROM_UNIXTIME和UNIX_TIMESTAMP怎么使用

这里面经常用到的是UNIX_TIMESTAMP和FROM_UNIXTIME的结合,比如对一个时间字段进行归集计算:把'2020-02-23 01:00:02','2020-02-23 01:02:31','2020-02-23 01:03:22'都归集成'2020-02-23 01:00:00'

select FROM_UNIXTIME(unix_timestamp('20200223')+5*60*floor((substr('2020-02-23 
 00:01:02',12,2)*60+substr('2020-02-23 00:01:02',15,2))/5)) time1

Spark Sql中FROM_UNIXTIME和UNIX_TIMESTAMP怎么使用

补充下格式转换:

%a	缩写星期名
%b	缩写月名
%c	月,数值
%D	带有英文前缀的月中的天
%d	月的天,数值(00-31)
%e	月的天,数值(0-31)
%f	微秒
%H	小时 (00-23)
%h	小时 (01-12)
%I	小时 (01-12)
%i	分钟,数值(00-59)
%j	年的天 (001-366)
%k	小时 (0-23)
%l	小时 (1-12)
%M	月名
%m	月,数值(00-12)
%p	AM 或 PM
%r	时间,12-小时(hh:mm:ss AM 或 PM)
%S	秒(00-59)
%s	秒(00-59)
%T	时间, 24-小时 (hh:mm:ss)
%U	周 (00-53) 星期日是一周的第一天
%u	周 (00-53) 星期一是一周的第一天
%V	周 (01-53) 星期日是一周的第一天,与 %X 使用
%v	周 (01-53) 星期一是一周的第一天,与 %x 使用
%W	星期名
%w	周的天 (0=星期日, 6=星期六)
%X	年,其中的星期日是周的第一天,4 位,与 %V 使用
%x	年,其中的星期一是周的第一天,4 位,与 %v 使用
%Y	年,4 位
%y	年,2 位

到此,关于“Spark Sql中FROM_UNIXTIME和UNIX_TIMESTAMP怎么使用”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注亿速云网站,小编会继续努力为大家带来更多实用的文章!

推荐阅读:
  1. Spark 系列(八)—— Spark SQL 之 DataFrame 和 Dataset
  2. Spark中Spark SQL怎么用

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

unix_timestamp sql from_unixtime

上一篇:pandas中如何应用apply和lambda

下一篇:怎么用python opencv将多个图放在一个窗口

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》