面试官:你说说Kafka是怎么保证消息可靠性的

面试官:你说说Kafka是怎么保证消息可靠性的

面试官:听说你精通Kafka,那我就考考你吧 面试官:不用慌尽管说,错了也没关系。。。 以【面试官面试】的形式来分享技术,本期是《Kafka系列》,感兴趣就关注我吧❤️ 面试官:知道Kafka高水位吗 当前高水位就是复制偏移量嘛,记录了当前已提交消息的最大偏移量。 是这样的,Kafka的消息只有在所...

亿万级别Kafka演进之路:可靠性+事务+消息中间件+源码+日志

亿万级别Kafka演进之路:可靠性+事务+消息中间件+源码+日志

前言Kafka起初是由LinkedIn公司采用Scala语言开发的-一个多分区、多副本且基于ZooKeeper协调的分布式消息系统,现已被捐献给Apache基金会。目前Kafka已经定位为一个分布式流式处理平台,它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。目前越来越多的开...

消息队列Kafka入门课程

4 课时 |
3098 人已学 |
免费

分布式消息系统 Kafka 快速入门

24 课时 |
640 人已学 |
免费
开发者课程背景图

聊聊 Kafka:Kafka 如何保证可靠性

一、前言在如今的分布式环境时代,任何一款中间件产品,大多都有一套机制去保证高可用的,Kafka 作为一个商业级消息中间件,消息可靠性的重要性可想而知,那 Kafka 如何保证可靠性的呢?本文从 Producer 往 Broker 发送消息、Topic 分区副本以及 Leader 选举几个角度介绍 K...

Kafka如何保证数据的可靠性&Kafka集群

Kafka如何保证数据的可靠性&Kafka集群

正文一、Kafka数据存储方式 名词解释Broker:Kafka节点,一个Kafka节点就是一个broker,多个broker可以组成一个Kafka集群Topic:一类消息,消息存放的目录即主题,例如page view日志、click日志等都可以以topic的形式存在,Kafka集群能够同时负责多个...

阿里云正式推出消息队列Kafka:兼容开源,数据可靠性99.999999%

7月25日,阿里云宣布正式推出消息队列Kafka,全面融合开源生态。在兼容Apache生态的基础上,阿里云消息队列Kafka彻底解决了开源产品稳定性不足的痛点,可用性达99.9%,数据可靠性99.999999%,并且支持消息无缝迁移到云上。 Kafka是一个分布式、高吞吐量、高可扩展性的消息队列服务...

阿里云正式推出消息队列Kafka:兼容开源,数据可靠性99.999999%

7月25日,阿里云宣布正式推出消息队列Kafka,全面融合开源生态。在兼容Apache生态的基础上,阿里云消息队列Kafka彻底解决了开源产品稳定性不足的痛点,可用性达99.9%,数据可靠性99.999999%,并且支持消息无缝迁移到云上。 据介绍,阿里云消息队列Kafka在海量消息堆积的情况下,始...

kafka数据可靠性深度解读

1 概述 Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统,后成为Apache的一部分,它使用Scala编写,以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark等都支持与Kafka集成。 Kafka凭借着自身的...

Kafka可靠性的思考

首先kafka的throughput  很牛逼,参考:http://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-writes-second-three-cheap-machines   接着...

Kafka vs RocketMQ——单机系统可靠性

引言 前几期的评测中,我们对比了Kafka和RocketMQ的吞吐量和稳定性,本期我们要引入一个新的评测标准——软件可靠性。 何为“可靠性”? 先看下面这种情况:有A,B两辆越野汽车,在城市的周边地区均能很好应对泥泞的路况。当一同开去穿越西藏,A车会因为西藏本地的汽油不达标,导致油路受阻无法点火,而...

Kafka消息delivery可靠性保证(Message Delivery Semantics)

原文见:http://kafka.apache.org/documentation.html#semantics kafka在生产者和消费者之间的传输是如何保证的,我们可以知道有这么几种可能提供的delivery guarantee: At most once 消息可能会丢,但绝不会重复传输 At ...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

社区圈子

消息队列
消息队列
消息队列是构建分布式互联网应用的基础设施,通过消息队列实现的松耦合架构设计可以提高系统可用性以及可扩展性,是适用于现代应用的优秀设计方案。
20+人已加入
加入
相关电子书
更多
任庆盛|Flink CDC + Kafka 加速业务实时化
消息队列 Kafka 版差异化特性
2019大数据技术公开课第五季—kafka 数据如何同步到 MaxCompute
立即下载 立即下载 立即下载