ITKeyword,专注技术干货聚合推荐

注册 | 登录

kafka入门(二)——kafka的逻辑结构

lhc2207221755 分享于 2016-06-04

推荐:快速理解Kafka分布式消息队列框架

转载自:http://blog.csdn.net/colorant/article/details/12081909 ==是什么 ==   简单的说,Kafka是由Linkedin开发的一个分布式的消息队列系统(Message Queue)

2018阿里云全部产品优惠券(好东东,强烈推荐)
领取地址https://promotion.aliyun.com/ntms/act/ambassador/sharetouser.html?userCode=gh9qh5ki&utm_source=gh9qh5ki





一,组成部分概要


           Producer:消息生产者

          Consumer:消息消费者

          Topic:特指kafka处理的消息源的不同分类

          Partition:topic物理上的分组,一个topic可以分为多个partition,每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id(offset)

          Message:消息,是通信的基本单位,每个 producer 可以向一个topic(主题)发布一些消息

          Broker:缓存代理,Kafa 集群中的一台或多台服务器统称为 broker

          Consumer Group: 消费者组,可以并行消费Topic中partition的消息

          Producers:消息和数据生产者,向Kafka 的一个 topic 发布消息的过程叫做producers。

          Consumers:消息和数据消费者,订阅topics 并处理其发布的消息的过程叫做 consumers。


二,kafka各个部分介绍       

 

    1,producers       


消息和数据生产者,向 Kafka 的一个 topic 发布消息的过程叫做producers。

Producer将消息发布到指定的Topic中,同Producer也能决定将此消息归属于哪个partition;比如基于"round-robin"方式或者通过其他的一些算法等.


异步发送:

批量发送可以很有效的提高发送效率。Kafka producer的异步发送模式允许进行批量发送,先将消息缓存在内存中,然后一次请求批量发送出去。

  

    2,broker


Broker:缓存代理,Kafka集群中的一台或多台服务器统称为 broker。

Message在Broker中通Log追加的方式进行持久化存储。并进行分区(patitions)

 

为了减少磁盘写入的次数,broker会将消息暂时buffer起来,当消息的个数(或尺寸)达到一定阀值时,再flush到磁盘,这样减少了磁盘IO调用的次数。

 

        1,broker的无状态机制     


               1.  Broker没有副本机制,一旦broker宕机,该broker的消息将都不可用。

            2.  Broker不保存订阅者的状态,由订阅者自己保存。

推荐:kafka入门教程

1.Kafka独特设计在什么地方? 2.Kafka如何搭建及创建topic、发送消息、消费消息? 3.如何书写Kafka程序? 4.数据传输的事务定义有哪三种? 5.Kafka判断一个节点

            3. 无状态导致消息的删除成为难题(可能删除的消息正在被订阅),kafka采用基于时间的SLA(服务水平保证),消息保存一定时间(通常为7天)后会被删除。

            4.  消息订阅者可以rewind back到任意位置重新进行消费,当订阅者故障时,可以选择最小的offset(id)进行重新读取消费消息。


      3,message的组成  


Message消息:是通信的基本单位,每个 producer 可以向一个topic(主题)发布一些消息。

Kafka中的Message是以topic为基本单位组织的,不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的),每个partition存储一部分Message。

 

partition中的每条Message包含了以下三个属性:

       offset        对应类型:long

       MessageSize        对应类型:int32

       data是message的具体内容


      4,partions组成      


kafka基于文件存储.通过分区,可以将日志内容分散到多个server上,来避免文件尺寸达到单机磁盘的上限,每个partiton都会被当前server(kafka实例)保存;

 

可以将一个topic切分多任意多个partitions,来消息保存/消费的效率.

 

越多的partitions意味着可以容纳更多的consumer,有效提升并发消费的能力.


     5,consumers


消息和数据消费者,订阅 topics 并处理其发布的消息的过程叫做 consumers。

 

在 kafka中,我们 可以认为一个group是一个“订阅者”,一个Topic中的每个partions,只会被一个“订阅者”中的一个consumer消费,不过一个 consumer可以消费多个partitions中的消息(消费者数据小于Partions的数量时)

 

注: kafka的设计原理决定,对于一个topic,同一个group中不能有多于partitions个数的consumer同时消费,否则将意味着某些consumer将无法得到消息.

 

     


   

        


                

 

推荐:kafka学习之路(一)——入门

kafka学习之路(一)——入门 Kafka学习之路... 一、入门.. 1、      简介 2、      主题(Topics)、日志(Logs) 3、      分布式(Distribution) 4、      

一,组成部分概要            Producer:消息生产者           Consumer:消息消费者           Topic:特指kafka处理的消息源的不同分类           Partition:topic物理上的分组,一个topic可
阿里云优惠券

相关阅读排行


用户评论

游客

网页数据数据采集

相关内容推荐

阿里云优惠券

最新文章

×

×

请激活账号

为了能正常使用评论、编辑功能及以后陆续为用户提供的其他产品,请激活账号。

您的注册邮箱: 修改

重新发送激活邮件 进入我的邮箱

如果您没有收到激活邮件,请注意检查垃圾箱。