anyuan2002.com - vwin网

搜索: 您的位置主页 > 网络频道 > 阅读资讯:Kafka底层原理架构
vwin娱乐场

Kafka底层原理架构

2019-03-31 06:11:14 来源:www.anyuan2002.com 【

1、Kafka 核心组件概述

Kafka 是 LinkedIn 用于日志处理的分布式消息队列,同时支持离线和在线日志处理。

Kafka 对消息保存时根据 Topic 进行归类:

  • 发送消息者就是 Producer,消息的发布描述为 Producer
  • 消息接受者就是 Consumer,消息的订阅描述为 Consumer
  • 每个 Kafka 实例称为 Broker,将中间的存储阵列称作 Broker(代理)
  • 然后三者都通过 Zookeeper 进行协调
    Kafka底层原理架构
    Kafka底层原理架构
    Kafka 的大致工作模式
    1、启动 ZooKeeper 的 server
    2、启动 Kafka 的 server
    3、Producer 生产数据,然后通过 ZooKeeper 找到 Broker,再将数据 push 到 Broker 保存
    4、Consumer 通过 ZooKeeper 找到 Broker,然后再主动 pull 数据

2.Kafka 的核心概念详解

Producer : 生产 message 发送到 topic
Consumer : 订阅 topic 消费 message,consumer 作为一个线程来消费
Consumer Group:一个 Consumer Group 包含多个 consumer,这个是预先在配置文件中配置好的
Broker:Kafka 节点,一个 Kafka 节点就是一个 broker,多个 broker 可以组成一个 Kafka 集群。
Topic:一类消息,消息存放的目录即主题,例如 page view 日志、click 日志等都可以以 topic的形式存在,Kafka 集群能够同时负责多个 topic 的分发。
Partition:topic 物理上的分组,一个 topic 可以分为多个 partition,每个 partition 是一个有序的队列
Segment:partition 物理上由多个 segment 组成,每个 Segment 存着 message 信息

(1)broker

kafka集群包括一个或者多个服务器,这种服务器被称为brker。

broker也就是中间的存储队列的节点实例。
我们将消息发布者称为:Produce,将消息的订阅者称为:Consumer,将中间的存储阵列称为broker。

(2)topic

每条发布到kafka集群的消息都有一个类别,这个类别被成为Tpoic。物理上不同的topic的消息分开存储,逻辑上一个topic的消息虽然保存与一个或者多个broker中。但用户只需要指定消费的topic,即生产或者消费数据的客户端不需要关心数据存储与何处。
kafka中发布订阅的对象就是topic。为每一个数据类型创建一个topic,把向topic发布消息的客户端称为producer,从topic订阅消息的客户端称为consumer,producer和consumer可以同时从多个topic读写数据。一个kafka集群由一个或者多个broker服务器组成。他负责持久化和备份具体的kafka消息。
topic就是数据的主题,是数据记录发布的地方,可以用来区分业务系统。kafka中的topics总是多订阅者模式,一个topic可以拥有一个或者多个消费者来订阅它的数据。

(3)partition

Kafka底层原理架构
partition是物理的概念,每一个topic包含一个或者多个partition(分区)。

topic的分区策略(针对写数据的时候进行分区)

  • 轮询:顺序分发,仅针对于message没有key的时候。
  • Hash分区:在message有key的情况下,(key.hash%分区个数)。如果在增加分区的时候,partition里面的message不会重新进行分配,随着数据的继续写入,这个新的分区才会参与load balance。

topic的分区逻辑存储方式:
Kafka底层原理架构
Kafka底层原理架构
topic 会分成一个或多个 partition,每个 partiton 相当于是一个 子 queue。在物理结构上,每个 partition 对应一个物理的目录(文件夹),文件夹命名是 [topicname][partition][序号],一个 topic 可以有无数多的 partition,根据业务需求和数据量 来设置。在 kafka 配置文件中可随时更改 num.partitions 参数来配置更改 topic 的 partition 数 量,在 创建 Topic 时通过参数指定 parittion 数量。Topic 创建之后 通过 Kafka 提供的工具(kafka-manager)也可以修改 partiton 数量。分区中存放着数据本身和数据的index下标。在向partition写入数据的时候,是顺序写入的,每一个数据写入的时候都会有一个类似下标的东西(index),随着数据的写入而增长。partition也是集群负载均衡的基本单位。

总结

  • 一个topic的partition数量大于等于broker的数量,可以提高吞吐率
  • 同一个partition的Replica尽量分散到不同的机器上,高可用
  • kafka的分区数:(1|2|3 + 0.95) * broker数量

(4)Producer

负责主动发布消息到kakfa broker(push)

kafka消息的保存策略:每个 Topic 被分成多个 partition(区)。每条消息在 partition 中的位置称为 offset(偏移量),类型为 long 型数字。消息即使被消费了,也不会被立即删除, 而是根据 broker 里的设置( 基于时间存储或者基于大小),保存一定时间后再清除,比如 log 文件设置存储两天,则两天后, 不管消息是否被消费,都清除。

(5)Consumer

消息消费者,向kafkabroker读取消息的客户端。(pull)

消费消息的策略:(使用的是roundrabin算法):如果有4个分区,现在有三个消费者线程,那么这个三个线程一人分一个分区消费,最后一个分区以0的方式,发送给第一个线程消费,如果此时又多加入一个线程,那么就会将第4个分区就分给新加入的线程消费,如果有一个线程退出,那么第三个和第四个分区也会以轮询的方式,发送给第一个线程和第二个线程消费。(kafka内部自动维护这个负载均衡)。

消费的原则:一个consumer对一个partition中的一条数据只需要消费一次,每一个consumer组维护一个下标文件,叫做offset,这个offset用于记录当前的consumer组消费数据的下标,每进行消费一条数据,当前的offset就会递增1(offset之前的数据,都表示已经消费过的数据)。

(6)Consumer group

Kafka底层原理架构
一个consumer group 包含多个consumer,这个是预先在配置文件中配置好的。各个consumer可以组成一个组,partition中的每一个message只能被一个组中的一个consumer进行消费,其他的consumer不能消费同一个topic中同一个分区的数据,不同组的consumer可以消费同一个topic的同一个分区的数据

广播和单播
广播:所有的consumer每一个consumer划分一组
单播:所有的consumer划分一组(一组中只允许一个消费)

对于kafka消费的总结

  • 一个分区只能被一个消费者组中的一个成员消费
  • 一个成员可以消费一个topic的多个分区
  • 一个 Topic 中的每个 Partition 只会被一个“Consumer group”中的一个 Consumer 消费
  • 一个成员还可以消费另外一个topic的分区

(7)segment

在kafka文件存储找中,同一个topic下有多个partition,每一个partition为一个目录,partition命名规则为:topic 名称+有序序号,第一个partition序号从0开始,序号最大值为partitions数量-1partition物理上由多个segment组成,每一个segment存储着多个message信息默认是:1G),而每一个message是由一个key-value和一个时间戳组成

segment文件的生命周期由服务器配置参数决定:默认的是168(一周)个小时后删除

segment由两大部分组成 index file 和 data file,这2个文件一一对应,成对出现,后缀".index"和".log"分别表示为 segment 索引文件、数据文件
Kafka底层原理架构
segment的命名规则:partion 全局的第一个 segment 从 0 开始,后续每个 segment 文件名为上一个 segment 文件最后一条消息的 offset 值。数值最大为 64 位 long 大小,19 位数字字符长度,没有数字用 0 填充。(每一个partition都是如此)

segment的index file: 索引文件存储大量元数据,数据文件存储大量消息,索引文件中元数据指向对应数据文件中 message 的物理偏移地址。
Kafka底层原理架构
segment的data file:
Kafka底层原理架构

kafka读取数据的查找message的步骤:
以读取 offset=368776 的 message,需要通过下面 2 个步骤查找。
消息队列之kafka(核心架构)
Kafka底层原理架构
第一步:00000000000000000000.index,表示最开始的文件,起始偏移量(offset)为 0,00000000000000368769.index 的消息量起始偏移量为 368770 = 368769 + 1,00000000000000737337.index 的起始偏移量为 737338=737337 + 1,其他后续文件依次类推。以起始偏移量命名并排序这些文件,只要根据 offset 二分查找文件列表,就可以快速定 位到具体文件。当 offset=368776 时定位到 00000000000000368769.index 和对应 log 文件。
第二步:当 offset=368776 时,依次定位到 00000000000000368769.index 的元数据物理位置和 00000000000000368769.log 的物理偏移地址,然后再通过 00000000000000368769.log 顺序查找直到 offset=368776 为止。查找的时候是通过相对偏移量,在.index文件中有两列(序列,地址),其中序列是相对偏移量:序列=查找的message的偏移量-当前文件的起始偏移量 ,然后根据序列对应的地址,找到相应的位置上的数据message。

(8)服务协调组件:Zookeeper

kafka 集群几乎不需要维护任何 Consumer 和 Producer 的信息。这些信息由 Zookeeper 保存。发送到 Topic 的消息,只会被订阅此 Topic 的每个 group 中的一个 consumer 消费。
Kafka底层原理架构

 
 

本文地址:http://www.anyuan2002.com/a/question/100125.html
Tags: 原理 底层 Kafka
编辑:vwin网
关于我们 | 联系我们 | 友情链接 | 网站地图 | Sitemap | App | 返回顶部