您好，登录后才能下订单哦！
密码登录
登录注册
点击 登录注册 即表示同意《亿速云用户服务条款》
本篇文章为大家展示了如何用spark分析网吧同行朋友思路，内容简明扼要并且容易理解，绝对能使你眼前一亮，通过这篇文章的详细介绍希望你能有所收获。
在mysql库中有2.5kw网吧轨迹数据，需要计算同行关系:计算两人在相同网吧十分钟前后上下网三次及以上(如:a和b在19号十分钟前后出现在了A网吧，又在21号十分钟前后出现在了B网吧，再在22号十分钟前后出现在了D网吧)就需要保留他们的身份ID和一起上下网的次数。2.5kw轨迹中有8k+网吧请问有什么思路吗？
如果flink有更好的处理方式也可以。
使用用一个mysql的连接器，但是这东西需要配置一个分区列。
直接用的网吧编号。这样会分8000多分区(而且后面的逻辑也没有用到这个分区列)，是不是有问题？今天测试了一下。两个网吧，3w多数据，两个小时没跑完。。(我们是先用连接器抽出数据，按照网吧分组计算单次然后聚合筛选3次及以上的)网吧数据从几条到几万条不等。
分区列的问题解决：
上述内容就是如何用spark分析网吧同行朋友思路，你们学到知识或技能了吗？如果还想学到更多技能或者丰富自己的知识储备，欢迎关注亿速云行业资讯频道。
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。