云消息队列 Kafka 版分析的相关内容

文章 2018-07-05 来自：开发者社区

搞懂分布式技术24：基于Flume+Kafka+ Elasticsearch+Storm的海量日志实时分析平台:

0背景介绍随着机器个数的增加、各种服务、各种组件的扩容、开发人员的递增，日志的运维问题是日渐尖锐。通常，日志都是存储在服务运行的本地机器上，使用脚本来管理，一般非压缩日志保留最近三天，压缩保留最近1个月，其它直接删除或迁移到日志服务器上。运维会将这些日志mount到远程的日志服务器上，然后开发人员使用运维分配的账号登陆堡垒机器跳转到日志服务器上查看不同项目不同机器的日志。下图是日志服务器某....

文章 2018-05-06 来自：开发者社区

消息中间件选型分析——从Kafka与RabbitMQ的对比来看全局

一、前言消息队列中间件（简称消息中间件）是指利用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型，它可以在分布式环境下提供应用解耦、弹性伸缩、冗余存储、流量削峰、异步通信、数据同步等等功能，其作为分布式系统架构中的一个重要组件，有着举足轻重的地位。目前开源的消息中间件可谓是琳琅满目，能让大家耳熟能详的就有很多，比...

文章 2017-11-23 来自：开发者社区

kafka producer实例及原理分析

1.前言首先，描述下应用场景：假设，公司有一款游戏，需要做行为统计分析，数据的源头来自日志，由于用户行为非常多，导致日志量非常大。将日志数据插入数据库然后再进行分析，已经满足不了。最好的办法是存日志，然后通过对日志的分析，计算出有用的数据。我们采用kafka这种分布式日志系统来实现这一过程。步骤如下：搭建KAFKA系统运行环境如果你还没有搭建起来，可以参考我的博客： htt...

文章 2017-11-16 来自：开发者社区

Kafka项目实战－用户日志上报实时统计之分析与设计

1.概述　　本课程的视频教程地址：《Kafka实战项目之分析与设计》　本课程我通过一个用户实时上报日志案例作为基础，带着大家去分析Kafka这样一个项目的各个环节，从而对项目的整体设计做比较合理的规划，最终让大家能够通过本课程去掌握类似Kafka项目的分析与设计。下面，我给大家介绍本课程包含的课时内容，如下图所示：　　接下来，我们开始第一课时的学习：《项目整体概述》。 2.内容...

文章 2017-11-15 来自：开发者社区

Kafka - 消费接口分析

1.概述　　在 Kafka 中，官方对外提供了两种消费 API，一种是高等级消费 API，另一种是低等级的消费 API。在《高级消费 API》一文中，介绍了其高级消费的 API 实现。今天给大家介绍另一种消费 API。 2.内容　　在使用过 Kafka 的高级消费 API 后，我们知道它是一种高度抽象的消费 API，使用起来简单，方便，但是对于某些特殊的需求我们可能要用到第二种更加底层的 ....

文章 2017-11-08 来自：开发者社区

Kafka 客户端实现逻辑分析

这里主要分析kafka 客户端实现 (代码分析以perl kafka实现为准) kafka客户端分为生产者和消费者,生产者发送消息,消费者获取消息. 在kafka协议里客户端通信中用到的最多的四个协议命令是fetch,fetchoffset,send,metadata.这四个分别是获取消息,获取offset,发送消息,获取metadata.剩下的其他协议命令大多都是kafka server内部通....

文章 2016-09-09 来自：开发者社区

Kafka Zero-Copy 使用分析

前言 Kafka 我个人感觉是性能优化的典范。而且使用Scala开发，代码写的也很漂亮的。重点我觉得有四个： NIO Zero Copy 磁盘顺序读写 Queue数据结构的极致使用 Zero-Copy 实际的原理，大家还是去Google下。这篇文章重点会分析这项技术是怎么被嵌入到Kafa里的。包含两部分： Kafka在什么场景下用了这个技术 Zero-Copy 是如何被调...

文章 2016-03-02 来自：开发者社区

Kafka性能测试分析

首先要特别感谢赵崇贺同学利用业余时间进行的压测，才能为本文提供专业的测试数据一、测试环境准备 �Cpu �内存硬盘 Intel(R) Xeon(R) CPU E5520 @ 2.27GHz 32G 6T Kafka集群，服务器个数：3台采用CMS垃圾回收 JVM运行参数 -Xmx1G -Xms1G -server -XX:+UseParNewGC -XX:+UseConc...

文章 2015-12-29 来自：开发者社区

Kafka整体结构以及模块分析

一、Kafka源代码的工程结构如下图所示：二、各模板简要说明 Xml代码 admin：管理员模块，操作和管理topic，paritions相关，包含create,delete topic,扩展patitions Api：该模块主要负责交互数据的组装，客户端与服务端交互数据编解码 client：该模块比较简单就一个类，Producer读取kafka broker元...

文章 2015-12-29 来自：开发者社区

跟我学Kafka源码Producer分析

我的原文博客地址是：http://flychao88.iteye.com/blog/2266611 本章主要讲解分析Kafka的Producer的业务逻辑，分发逻辑和负载逻辑都在Producer中维护。一、Kafka的总体结构图 (图片转发）二、Producer源码分析 class Producer[K,V](val config: ProducerConfig, privat...