文章 2017-11-13 来自:开发者社区

Kafka 入门 and kafka+logstash 实战应用

一、基础理论 这块是整个kafka的核心无论你是先操作在来看还是先看在操作都需要多看几遍。 首先来了解一下Kafka所使用的基本术语 Topic Kafka将消息种子(Feed)分门别类 每一类的消息称之为话题(Topic).Producer 发布消息的对象称之为话题生产者(Kafka topic producer)Consumer 订阅消息并处理发布的消息的种子的对象称之为话题消费者(con.....

Kafka 入门 and kafka+logstash 实战应用
文章 2017-11-09 来自:开发者社区

springboot整合kafka应用

1、kafka在消息传递的使用非常普遍,相对于activemq来说kafka的分布式管理和使用更加灵活。 2、activemq的搭建和使用可以参考:   activemq搭建和springmvc的整合:http://www.cnblogs.com/ll409546297/p/6898155.html   springboot和springboot的整合:http://www.cnblogs.co....

springboot整合kafka应用
文章 2017-08-01 来自:开发者社区

干货|Kafka在大数据环境中的应用

我们生活在一个数据爆炸的时代,数据的巨量增长给我们的业务处理带来了压力,同时巨量的数据也给我们带来了十分可观的财富。随着大数据将各个行业用户、运营商、服务商的数据整合进大数据环境,或用户取用大数据环境中海量的数据,业务平台间的消息处理将变得尤为复杂。如何高效地采集、使用数据,如何减轻各业务系统的压力,也变得越来越突出。在早期的系统实现时,业务比较简单。即便是数据量、业务量比较大,大数据环境也能做....

文章 2017-08-01 来自:开发者社区

Kafka设计原理以及在达观产品中的应用

达观数据作为一家提供大数据服务的公司,经常会遇到客户上报数据的需求。这样的请求不需要马上返回处理结果, 而是需要后台将一系列的上报数据进行统一归档整理挖掘, 然后将结果数据呈现给客户。这样的业务需求需要达观提供数据暂存服务,也就是说我们需要一个系统在生产者(客户上报数据)和消费者(后台数据处理)之间进行沟通,简而言之叫系统间通信消息系统,这种模型就是经典的生产者(producer)、消费者(co....

文章 2016-05-13 来自:开发者社区

Kafka JAVA客户端代码示例--高级应用

什么时间使用高级应用? 针对一个消息读取多次 在一个process中,仅仅处理一个topic中的一组partitions 使用事务,确保每个消息只被处理一次 使用高级应用(调用较底层函数)的缺点?     SimpleConsumer需要做很多额外的工作(在以groups方式进行消息处理时不需要) 在应用程序中跟踪上次消息处理的offset 确定一个topi...

文章 2015-03-05 来自:开发者社区

基于dropwizard/metrics ,kafka,zabbix构建应用统计数据收集展示系统

新blog地址:http://hengyunabc.github.io/about-metrics/ 想要实现的功能 应用可以用少量的代码,实现统计某类数据的功能 统计的数据可以很方便地展示 metrics metrics,按字面意思是度量,指标。 举具体的例子来说,一个web服务器: - 一分钟内请求多少次? - 平均请求耗时多长? - 最长请求时间? - 某个方法的被调...

基于dropwizard/metrics ,kafka,zabbix构建应用统计数据收集展示系统
文章 2014-07-09 来自:开发者社区

kafka详解三:开发Kafka应用

一、整体看一下Kafka 我们知道,Kafka系统有三大组件:Producer、Consumer、broker 。 producers 生产(produce)消息(message)并推(push)送给brokers,consumers从brokers把消息提取(pull)出来消费(consume)。 二、开发一个Producer应用        ...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

消息队列

消息队列是构建分布式互联网应用的基础设施,通过消息队列实现的松耦合架构设计可以提高系统可用性以及可扩展性,是适用于现代应用的优秀设计方案。

+关注