开源云消息队列 Kafka 版的相关内容

文章 2022-02-17 来自：开发者社区

车主无忧：为什么放弃开源Kafka？

车主无忧是属于广州小迈网络科技公司服务于汽车后市场的重要产品。小迈网络是一家以一、二线城市车主为目标用户的移动互联网公司，通过构建串联车主与商家的O2O平台，降低车主用车成本，提升车主用车品质。目前车主用户已破亿，在艾瑞咨询 App 热点指数“汽车护理”领域排名第一。开源 Kafka 的痛点最开始，车主无忧采用开源 Kafka ，但在实践过程中，开源 Kafka 的短板越来越明显。在容量弹性....

文章 2022-02-16 来自：开发者社区

apache开源项目--kafka

关于kafka说明可以参考： http://kafka.apache.org/documentation.html kafka是一种高吞吐量的分布式发布订阅消息系统，她有如下特性：通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量：即使是非常普通的硬件kafka也可以支持每秒数十万的消息。支持通过kafka服务器和.....

文章 2022-02-16 来自：开发者社区

LinkedIn开源Cruise Control：一个Kafka集群自动化运维新利器

Kafka近年来日渐流行，LinkedIn的1800台Kafka服务器每天处理2万亿个消息。虽说Kafka运行得十分稳定，但要大规模运行Kafka，在运维方面仍然面临巨大的挑战。每天都会有broker崩溃，导致集群工作负载不均衡。SRE团队需要花费大量的时间和精力来重分配分区，以便让集群重新恢复均衡。自动化因此变得十分重要，这也就是为什么我们要开发Cruise Control：持续监控Kafk....

文章 2022-02-16 来自：开发者社区

Pinterest开源Kafka集群自愈和工作负载均衡工具：DoctorKafka

Pinterest是一个进行图片分享的社交站点。他们使用Kafka作为中心化的消息传输工具，用于数据摄取、流处理等场景。随着用户数量的增加，Kafka集群也越来越庞大，对它的管理日趋复杂，并变成了运维团队的沉重负担，因此他们研发了Kafka集群自愈和工作负载均衡工具DoctorKafka，最近他们已经在GitHub上将该项目开源。根据Pinterest的数据工程师Yu Yang的博客文章介绍，....

文章 2022-02-16 来自：开发者社区

开源“Chaperone”：Uber是如何对Kafka进行端到端审计的

随着Uber业务规模不断增长，我们的系统也在持续不断地产生更多的事件、服务间的消息和日志。这些数据在得到处理之前需要经过Kafka。那么我们的平台是如何实时地对这些数据进行审计的呢? 为了监控Kafka数据管道的健康状况并对流经Kafka的每个消息进行审计，我们完全依赖我们的审计系统Chaperone。Chaperone自2016年1月成为Uber的跨数据中心基础设施以来，每天处理万亿的消息量。....

文章 2022-02-16 来自：开发者社区

LinkedIn详细介绍了由他们开源的Kafka Monitor

Kafka Monitor项目的动机有三个：需要监控和测试Kafka部署并跟踪主干稳定性，以便他们能够尽早捕获正在开发的变更集中的问题；需要不间断地在生产集群上监控SLA，并不断地在测试集群上运行回归测试；现有的监控框架无法满足其用例的扩展性、模块化需求，他们需要一个自定义的客户端库。网站可靠性工程部门过去已经监控了输入速率、离线分区数和正在复制的分区数等指标，以确定Kafka集群的可用性....

文章 2022-02-16 来自：开发者社区

LinkedIn 详细介绍了他们开源的 Kafka Monitor

在2016年4月份举行的Kafka峰会上，LinkedIn在Apache 2.0许可协议下开源了Kafka Monitor，并于近日详细介绍了该监控工具的架构以及他们最初的构建动机。在年初的时候，LinkedIn曾在一篇有关Kafka整体应用的文章中简单地提及过Kafka Monitor，但并没有详细介绍该项目的语义组成或者背后的动机。 Kafka Monitor项目的动机有三个：需要监控和测....

问答 2022-02-15 来自：开发者社区