Hadoop中的排序的设计

发布时间:2020-07-08 20:18:21 作者:qingliangdexiar
来源:网络 阅读:272
  1. 排序经常会用,但是怎么在大数据中,以Map,Reduce这种形式来进行实现了?

    首先你要明确目标对象,对谁进行排序,如果是自定义的对象,需要实现其CompareTo方法,因为这个是对象之间比较大小的方法。

    另外你需要设计排序策略,特殊情况,正常情况,编程的时候,应该先写特殊情况,最后写正常情况,这样的话,逻辑更加清晰。

  2. 如何设计呢?

    首先按照正常逻辑写好Map和Reduce程序,然后输出,最后得到的是一些文本,

    在写一个Map,Reduce程序在写,进行排序。思想也是一样的,偏移量为key,(刚学的时候,不知道什么是偏移量,后来才明白,是字段的偏移量,比如第一行,开始偏移量为1,第二行,偏移量就是11,为什么,因为,第一行有10个字符,占据了10位)

  3. 在所有的mapreduce程序当中k1,v1,k2,v2,k3,v3中的k1一点用都没有,至于其他的k2和v2,他们可以自己进行设计,这些都只是输出,可以是对象,也可以是数值,包括v3,也可以是NULLwriteable等等之类的。

     

     

推荐阅读:
  1. hadoop设计思路和目标
  2. 设计简单的后台管理的数据排序

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

hadoop中的排序的设计 doop had

上一篇:【资料搬迁】安装phpunit

下一篇:ProxySQL!像C罗一样的强大!

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》