Redis（RemoteDictionaryServer)，即远程字典服务，是一个开源的使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。从2010年3月15日起，Redis的开发工作由VMware主持。从2013年5月开始，Redis的开发由Pivotal赞助。
map /reduce 程序执行时， reduce 节点大部分执行完毕，但是有一个或者几个 reduce 节点运行很慢，导致整个程序的处理时间很长，这...
redis处理懒加载数据的方法：1.写一个函数判断元素是否出现在可视范围内，代码：<script> function isVis...
本文参考realkid4的博客： http://blog.itpub.net/1720...
Hive数据倾斜及处理① 数据倾斜的概念及原因1.1 数据倾斜 数据倾斜就是数据的分布不平衡，某些地方特...
1.Redis是基于内存的，内存的读写速度非常快；2.Redis是单线程的，省去了很多上下文切换线程的时间；3.Redis使用多路复用技术，可以处理并...
1、添加表CREATE TABLE tb_signin(id INT,user_name VARCHAR(10),signin_num INT ,si...
在最近的业务中，接到了一个需要处理约十万条数据的需求。这些数据都以字符串的形式给到，并且处理它们的步骤是异步且耗时的（平均处理一条数据需要 25s 的...
[TOC] 1 大数据处理的常用方法 前面在我的另一篇文章中《大数据采集、清洗、处理：使用MapReduce进行离线数据分析完整案例》中已经有提及到...
数据倾斜通常指hive根据key值hash分发到各个节点，相同的key值会分发到一个执行节点中，由于某些key值对应的数据量比其它key值的数据量大很...
1. hive中桶的概述对于每一个表（table）或者分区， Hive可以进一步组织成桶，也就是说...