当前位置: 首页 > news >正文

广东移动网站软文营销网

广东移动网站,软文营销网,电影网站开发源代码,制作网页步骤链接Kafka怎么做到避免消息重复消费的? 消费者组是什么? 消费者: 1、订阅Topic(主题) 2、从订阅的Topic消费(pull)消息, 3、将消费消息的offset(偏移量)保存在K…

Kafka怎么做到避免消息重复消费的? 消费者组是什么?

消费者

1、订阅Topic(主题)
2、从订阅的Topic消费(pull)消息,
3、将消费消息的offset(偏移量)保存在Kafka内置的一Topic名字是_consumer_offsets的主题中,在Kafka的logs文件下能看到这👟文件,存放的是消息的偏移量数据
在这里插入图片描述

消费者组

在这里插入图片描述

1、订阅同一个Topic的消费者可以加入到一个consumer Group(消费者组)
2、消费者组中的consumer共享一个group_idconfigs,put(“group.id”,”XXX”);只要消费者的group_id一样,就属于同一个消费者组
3、消费者组保证每个topic下一个partition的消息只能被一个消费者组下一个消费者消费,避免消息的重复消费
如上图,当前只有一个消费者组订阅这个Topic,消费者组里只有一个消费者,那么当前Topic中所有分区的消息都由这个消费者消费
4、当消费者端业务逻辑比较复杂,消费消息比较慢,这个时候我们可以向消费者组中多加几个消费者(横向扩展)来提升消费速度。无非就是消费者端一套代码再在几台新的服务器部署一套,加入到同一个group_id下,同时从主题消费消息
横向扩展后,Kafka会对消息的分区与消费者的对应关系重新调整,这就是rebalance(再平衡机制)
在这里插入图片描述
如上图,消费者组扩展一个消费者后,消费者1、2分别消费两个分区的消息
我们可以看到,一个分区对应一个消费者,但是一个消费者可以对应多个分区

如果上面结构还不够,两个消费者消费速度依然跟不上,那么我们还可以继续添加消费者,添加到4个消费者,此时主题分区与消费者的关系再次发生变化,需要再平衡,此时一个消费者消费一个分区消息,达到并行消费的效果
在这里插入图片描述

上面步骤我们看到了消息的分区可以横向扩展,消息的消费者也可以横向扩展,向消费者组添加消费者是横向扩展消费能力的主要方式,而消费者组是消费者的关键,消费者组来保证,主题下的消息不管由多少个分区,每条消息只会被一个消费者消费,就不会引起重复消费的情况

一般最佳情况是:消费者数 = 分区数,一个分区对应一个消费者,
消费者也不是越多越好,消费者数受限于分区数, 过多消费者会导致有的消费者没有分配分区导致空闲,如下图
在这里插入图片描述
所以对于高并发的场合,我们通常会给一个主题设置很多个分区,分区数多利于消费者横向扩张


上面是一个消费者组的情况,实际上对于一个Topic可以有不同的消费者组,如下图
在这里插入图片描述

  • 每个消费者组是相互独立的
  • 每个消费者组都可以拿到主题的全部数据
http://www.ritt.cn/news/19269.html

相关文章:

  • html购物网站源码百合seo培训
  • 兼职做网站的费用seo全称
  • 专业做网站价格淘宝怎样优化关键词
  • 苏州新区保洁公司广州 关于进一步优化
  • 网站开发的阶段流程图链接怎么做
  • 网络规划设计师知识点杭州seo按天计费
  • 网站建设收费标准新闻win10必做的优化
  • 新闻网站网络安全建设搜索引擎最新排名
  • 广州vi设计公司淘宝seo是什么意思
  • 南阳做网站多少电话最近新闻内容
  • 祝贺网站上线网站的宣传推广方式
  • html5手机网站欣赏小吃培训机构排名前十
  • 响应式网站的优点网站制作公司怎么找
  • 专业做网文的网站百度账号申请注册
  • 供应优惠的小企业网站建设网络营销策划论文
  • 手机wap版网站制作阳江seo
  • 常德网站建设网站网站seo优化技巧
  • 网站到期请续费西安百度推广网站建设
  • 长春品牌网站建设公司免费发广告的软件
  • 响应式网站的缺点如何在网上推广产品
  • 嘉兴做网站多少钱百度建一个网站多少钱
  • 无锡网站建设人员应用商店下载
  • 饰品网站设计方案汕头seo外包机构
  • wordpress post grid百度关键词相关性优化软件
  • 白石洲附近做网站公司网站宣传文案
  • 做外贸需要有自己的网站吗软文发稿平台有哪些
  • 北京搬家公司哪家好站长工具seo排名查询
  • 发簪做的比较好的网站百度云链接
  • 全新域名请收藏seo人员工作内容
  • 网站开发 职位描述资源网站优化排名软件公司