您好,登录后才能下订单哦!
密码登录
登录注册
点击 登录注册 即表示同意《亿速云用户服务条款》
这篇文章给大家分享的是有关hive中python udf的示例分析的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。
udfdata.txt:
aa pingpong,swim,running
create table udfdata(name String,hobby String) row format delimited fields terminated by '\t' ; LOAD DATA LOCAL INPATH '/Users/lifei/hivedata/udfdata.txt' OVERWRITE INTO TABLE udfdata; add file /Users/lifei/hivedata/parsehobby.py; select transform(name,hobby) using 'python parsehobby.py' as (name,hobby) from udfdata aa pingpong aa swim aa running add file /Users/lifei/hivedata/splithobby.py; select transform(hobby) using 'python splithobby.py' as (name,hobby,test) from udfdata; pingpong swim running
#parsehobby.py import sys for line in sys.stdin: detail = line.strip().split('\t') if (len(detail) < 2): continue name = detail[0] hobbis = detail[1] hobbyArray = hobbis.split(',') for hobby in hobbyArray: print "%s\t%s" %(name,hobby) #splithobby.py import sys for line in sys.stdin: detail = line.strip().split(',') print "%s\t%s\t%s" %(detail[0],detail[1],detail[2])
ps: explode和collect_set
中文或者str时报错:'ascii' codec can't encode characters in position 61-62
reload(sys)
sys.setdefaultencoding('utf8')
感谢各位的阅读!关于“hive中python udf的示例分析”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识,如果觉得文章不错,可以把它分享出去让更多的人看到吧!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。