kafka背景及架构如何理解

这篇文章给大家介绍kafka背景及架构如何理解，内容非常详细，感兴趣的小伙伴们可以参考借鉴，希望对大家能有所帮助。

背景及架构介绍

一、 背景

什么是kafka呢，他是LinkedIn开发的一个分布式消息系统，用scala编写的，可以水平扩展和高吞吐率。

原本开发自LinkedIn，用作他们的活动流和运营数据处理管道的基础，之后被多家公司使用，慢慢发展壮大起来。

二、 简单介绍

kafka是分布式的，基于发布/订阅的消息系统。

1、 即使对TB级以上数据也能保证常数时间复杂度的访问性能。

2、 高吞吐率：即使在非常廉价的商用机器上也能做到单机支持每秒100k条以上消息的传输。

3、 支持分区，消息分布式消费，但是只能保证每个partition内的消息顺序传输。并且支持在线水平扩展。

为何使用消息中间件呢，大家肯定接触过rabbitmq、activemq、redis等，估计有很多感触。我就不详细描述了，这个只能亲身参加过大的技术架构，自己身在其中，并且感受到不用消息中间件和用的区别。

三、 架构

了解架构之前，我们先了解一下基本名词。

Broker：安装了kafka的服务器就是一个broker。

Topic：消息的类比，最好一类数据定一个topic去存储传输。

Partition:分区，topic可以定分到几个分区中。

Producer：发送消息，发送者。

Consumer：消费消息，消费者。

Consumer Group：每个Consumer属于一个特定的Consumer Group。

从图中来看，kafka集群包含若干个producer和consumer以及broker，还有一个zk集群。Producer通过push模式将数据发送到broker，Consumer通过pull模式拉取数据。

Producer发送消息到broker时，根据partition机制选择分不到哪一个partition，设置合理的情况下，所有消息可    

以均匀分不到不同的partition里，实现了负载均衡。

关于kafka背景及架构如何理解就分享到这里了，希望以上内容可以对大家有一定的帮助，可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到。