云消息队列 Kafka 版实时的相关内容

文章 2019-08-02 来自：开发者社区

Apache Carbondata接入Kafka实时流数据

1.导入carbondata依赖的jar包将apache-carbondata-1.5.3-bin-spark2.3.2-hadoop2.7.2.jar导入$SPARKHOME/jars;或将apache-carbondata-1.5.3-bin-spark2.3.2-hadoop2.7.2.jar导入在$SPARKHOME创建的carbondlib目录 2.导入kafka依赖的jar包接入....

文章 2019-05-19 来自：开发者社区

Airbnb 是如何通过 balanced Kafka reader 来扩展 Spark streaming 实时流处理能力的

Airbnb 日志事件获取日志事件从客户端（例如移动应用程序和 Web 浏览器）和在线服务发出，其中包含行为或操作的关键信息。每个事件都有一个特定的信息。例如，当客人在 Airbnb.com 上搜索马里布的海滨别墅时，将生成包含位置，登记和结账日期等的搜索事件。在 Airbnb，事件记录对于我们理解客人和房东，然后为他们提供更好的体验至关重要。它为业务决策提供信息，并推动工程功能（如搜索，实....

问答 2019-01-18 来自：开发者社区

flume1.8整合 kafka2.10时，kafka消费者不能实时的接受flume发过来的数据？

以上是flume的配置文件我执行了以下操作:flume提交命令: flume-ng agent -n a0 -f ../dir-kafka.conf -c conf -Dflume.root.logger=INFO,console我启动了kafka消费者命令:kafka-console-consumer.sh --zookeeper 192.168.6.139:2181,192.168.6.14....

问答 2018-11-08 来自：开发者社区

sparkstreaming+kafka+hbase实时写入数据，执行6天后，出现异常，数据无法写入

没找到怎么贴图片------- tf.filter(!_.contains(str1)).filter(!_.contains(str2)).map(_.replaceAll(""", "")).map(_.split(",")).filter(_.length == 7) .map(p => (p(0).substring(3), p(1), p(4), p(5), p(6))).map(...

文章 2018-10-08 来自：开发者社区

Kafka+Flink 实现准实时异常检测系统

1.背景介绍异常检测可以定义为“基于行动者（人或机器）的行为是否正常作出决策”，这项技术可以应用于非常多的行业中，比如金融场景中做交易检测、贷款检测；工业场景中做生产线预警；安防场景做入侵检测等等。根据业务要求的不同，流计算在其中扮演着不同的角色：既可以做在线的欺诈检测，也可以做决策后近实时的结果分析、全局预警与规则调整等。本文先介绍一种准实时的异常检...

文章 2018-09-05 来自：开发者社区

Flume+Kafka+Flink+Redis构建大数据实时处理系统：实时统计网站PV、UV展示

1.大数据处理的常用方法大数据处理目前比较流行的是两种方法，一种是离线处理，一种是在线处理，基本处理架构如下：在互联网应用中，不管是哪一种处理方式，其基本的数据来源都是日志数据，例如对于web应用来说，则可能是用户的访问日志、用户的点击日志等。如果对于数据的分析结果在时间上有比较严格的要求，则可以采用在线处理的方式来对数据进行分析，如使用Flink进行处理。比较贴切的一个例子是天猫...

文章 2018-09-05 来自：开发者社区

使用 Kafka 和 Flink 构建实时数据处理系统

引言在很多领域，如股市走向分析, 气象数据测控，网站用户行为分析等，由于数据产生快，实时性强，数据量大，所以很难统一采集并入库存储后再做处理，这便导致传统的数据处理架构不能满足需要。流计算的出现，就是为了更好地解决这类数据在处理过程中遇到的问题。与传统架构不同，流计算模型在数据流动的过程中实时地进行捕捉和处理，并根据业务需求对数据进行计算分析，最终把结果保存或者分发给需要的组件。本文将从实时数....

文章 2018-07-05 来自：开发者社区

搞懂分布式技术24：基于Flume+Kafka+ Elasticsearch+Storm的海量日志实时分析平台:

0背景介绍随着机器个数的增加、各种服务、各种组件的扩容、开发人员的递增，日志的运维问题是日渐尖锐。通常，日志都是存储在服务运行的本地机器上，使用脚本来管理，一般非压缩日志保留最近三天，压缩保留最近1个月，其它直接删除或迁移到日志服务器上。运维会将这些日志mount到远程的日志服务器上，然后开发人员使用运维分配的账号登陆堡垒机器跳转到日志服务器上查看不同项目不同机器的日志。下图是日志服务器某....