多位大数据专家联袂推荐：分布式实时处理系统—原理、架构与实现

前言

由计算机组成的网络无处不在，现如今我们的日常生活已经被各种不同类型的网络包围，如电话网络、企业网络、家庭网络以及各种类型的局域网，共同构成了我们称之为Internet的网络。因此，我们可以断言Internet是由各种不同类型、不同地区、不同领域的网络构成的互联网。我们可以发现，互联网并没有集中式的控制中心，而是由大量分离且互联的节点组成的。这正是一个分散式的模型。我们可以把这个概念类比到即将讲解的分布式概念上。

分布式概念是在网络这个大前提下诞生的。传统的计算是集中式的计算,使用计算能力强大的服务器处理大量的计算任务，但这种超级计算机的建造和维护成本极高，且明显存在很大的瓶颈。与之相对，如果一套系统可以将需要海量计算能力才能处理的问题拆分成许多小块，然后将这些小块分配给同一套系统中不同的计算节点进行处理，最后如有必要将分开计算的结果合并得到最终结果，那么就将这种系统称为分布式系统。对于这种系统来说，我们会采用多种方式在不同节点之间进行数据通信和协调，而网络消息则是常用手段之一。

通过以上描述，我们基本可以认为，一套分布式系统会使用网络上的硬件资源和软件组件进行计算，而各个计算节点间通过一定方式进行通信。这是从计算机科学的角度简单概述了分布式系统的概念。

如果我们从网络这个关键因素考虑，我们可以将计算分摊到网络中不同的计算节点，充分利用网络中的计算资源，而这些节点可能存在于不同的区域中，在空间上存在一定距离。虽说这种解释不那么正式，但也从另一个角度上生动地阐述了分布式的基本特性，即节点分布。

正文

本书以最基本的云计算与大数据概念作为引子,逐步引入高性能分布式实时处理系统编程所需要的知识，抽丝剥茧地把有关实时处理系统的架构以及内部实现娓娓道来。

第1章 介绍分布式系统的一些基本概念,以及开发实时处理系统所需要具备的一些重要知识点。

第2章 介绍分布式系统通信基础，包括TCP/IP以及Socket方面的基本概念，为后续开发网络库Meshy做知识储备。

第3章 介绍分布式系统通信所需的高层抽象,包括RPC远程过程调用、RESTful.消息队列等常用的通信模型。同时介绍基本的序列化概念与解决方案,并使用Thrit开发简单的公告牌服务,为Hurricane的开发建立通信抽象与框架上的基础概念。

第4章 介绍C++高性能编程所需的基础与进阶知识，包括C+ +中的内存资源管理、编码解决方案、并发与异步处理以及内存管理技巧，以及C++11中与内存管理、编码处理、线程模型相关的内容。

第5章 介绍分布式处理系统的基本概念,包括批处理与实时处理的区别，Hadoop与Storm的基本介绍及基本模型。最后介绍可靠消息处理的基本思想。

第6章 介绍实时处理系统的总体架构与接口设计,包括消息源、消息处理器、数据收集器、元组以及序列化接口。

第7章 介绍服务组件的设计与实现，包括Executor及其消息队列、动态装载以及Task的设计与实现等。

第8章 介绍管理服务的设计与实现,其中包括集群管理器President以及节点管理器Manager的架构设计与编程实现。

第9章 介绍实时处理系统中各部分接口的实现,包括消息源、消息处理单元以及数据收集器的实现。

由于平台篇幅限制，同时也为了大家更好的阅读，小编把分布式相关的资料都整理好了，有感兴趣的朋友可帮忙转发文章后，关注私信 回复【学习】来获取