后端2026年11月21日· 约 4 分钟

Kafka 消息中间件基础结构及高性能特点

Kafka 消息中间件基础结构及高性能特点 Kafka 是 2010 年由 LinkedIn 开发的,用于存储海量的日志数据。2011 年,LinkedIn 将 Kafka 开源,并捐献给 Apach

#消息中间件#分布式系统#高性能架构
Twitter 微博

Kafka 消息中间件基础结构及高性能特点

Kafka 是 2010 年由 LinkedIn 开发的,用于存储海量的日志数据。2011 年,LinkedIn 将 Kafka 开源,并捐献给 Apache 基金会。Kafka 的名字来源于作家卡夫卡,原作者认为 Kafka 是一个针对“优化写入”的系统,并且他本人很喜欢作家卡夫卡的作品和名字,因此将这套系统命名为 Kafka。

Kafka 的吞吐量高,速度快。单节点的吞吐量常常能达到每秒百万级,从生产者到消费者的端到端响应速度能达到 5-10ms。因此,无论是单消息速度还是高并发场景,Kafka 的速度都很快。

Kafka 的应用场景一般有三个点:分布式日志系统、消息队列中间件、大数据流式系统的数据管道。Kafka 由三部分组成:生产者客户端、消费者客户端和 Kafka 服务。生产者客户端向 Kafka 中提交数据的服务,消费者客户端从 Kafka 中拉取数据进行消费的服务,Kafka 服务是 Kafka 的核心组成,可以理解为 Kafka 的后端服务。

Kafka 是一个分布式系统,它由若干的服务节点组成,我们称之为 broker。每个 broker 是平等的,相当于是后端微服务的一个实例。这些 broker 都是平等的,没有主从的概念。生产者在向 Kafka(其实就是 broker)提交数据时,将数据划分为不同类型,以区分不同的数据,比如订单数据、用户数据等等。我们将这些数据类型称之为 topic。

但是 broker 有很多,某一个类型的消息到底应该存在哪个 broker 或者哪几个 broker 上呢?这一部分有分布式管理中间件 ZooKeeper(后续版本 Kafka 也自带了 Kraft 组件替代 ZooKeeper)配合 broker 进行协调,将消息保存到 broker 的某一块具体存储上。Kafka 为了快,常常需要在多个 broker 上来读写数据,以降低某个 broker 因为 IO 阻塞导致整体写的速度下降。我们将这块存储空间称之为 partition(分区),表示它是这个消息的一部分内容。

这个分区其实就是消息实际存储的位置。而 Kafka 为了防止消息丢失,对于每一个分区,常常保存多份(多个副本)。我们将分区分为两种:leader 和 follower,leader 相当于主备中的主机,它负责正常的读写处理,follower 相当于是主备中的备机,只用来备份数据的。这些分区往往保存在不同的 broker 上,以保证某一个 broker 服务挂掉之后,还有其他的 broker 上有备份的数据。

当 broker 挂掉时,剩余 broker 会配合 ZooKeeper 重新进行选举,将已经失去 leader 的分区在 follower 中重新选一个出来。这样生产者生产的数据就将数据散落到了不同的分区中,也就是不同的 Kafka 节点中了。注意,由于数据是保存在不同的分区中的,每个分区是一个有序队列,但是分区之间却又无序。所以 Kafka 只能保证某个分区的数据有序的,跨分区的数据是无法保证有序的。

消费者在消费数据时,会从这些 broker 中拉取数据。不同的业务服务可能都要消费这条数据,为了保证他们之间不会重复消费或者遗漏消费,我们需要对消费者划分不同的种类。我们将这种消费者的分类称之为消费者组。每一条消息对于一个消费者组来说,正常情况下只能消费一次。同时为了进一步加速消费的速度,消费者我们可以有多个,并行的从这些分区中拉取数据。为了保证消费顺序不会错乱,一个分区只能被消费者组中的某一个消费者长期消费拉取数据。

除非重新进行了一次调整,否则会一直保持下去。这个调整分区和消费者对应关系的动作,我们称之为 rebalance。分区中保留着每个消费者组在当前分区中拉取的位置,也就是偏移量,下次这个消费者组的消费者重新来拉取时,就根据之前记录的偏移量继续拉取,以保证不会丢失数据。

生产者、broker、topic、partition、replica、消费者组和消费者之间的关系如下:

  • 一个 topic 可以有多个 partition
  • 一个 partition 可以有多个 replica
  • 一个 replica 可以是 leader 或者 follower
  • 一个消费者组可以有多个消费者
  • 一个消费者可以消费多个 partition 的消息
  • 一个 partition 只能被一个消费者组中的一个消费者消费

这些概念和关系构成了 Kafka 的基础结构和高性能特点。通过这些概念和关系,我们可以更好地理解 Kafka 的工作原理和如何使用 Kafka 来解决实际问题。

评论

© 2026 松岛川树