最新动态

聊聊Kafka分区、producer、consumer

一. Kafka topic消息根据什么规则推送到到指定区partition?1) 发布消息时,如果只传了topic没有传key,则会以topic随机计算出一个的区(partition)来存放消息。优点:消息分布到不同partition上,能并发消费(并发数小于等于分区总数),消费速度快。缺点:不保...

Kafka入门教程 经典教程

一、基本概念介绍Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计。 这个独特的设计是什么样的呢? 首先让我们看几个基本的消息系统术语: Kafka将消息以topic为单位进行归纳。 将向Kafka topic发布消息的程序成为producers....

Kafka丢数据?Kafka如何预防丢数据?

Kafka到底会不会丢数据(data loss)? 通常不会,但有些情况下的确有可能会发生。下面的参数配置及Best practice列表可以较好地保证数据的持久性(当然是trade-off,牺牲了吞吐量)。笔者会在该列表之后对列表中的每一项进行讨论,有兴趣的同 学可以看下后面的分析。bloc...

Kafka的三种消费模式

自动提交offset以下实例代码展示了如何自动提交topic的offset:public void autoOffsetCommit() { Properties props = new Properties(); props.put("bootstra...