云Kafka搭配云HBase X-Pack构建一体化数据处理平台
云HBase X-Pack是基于Apache HBase、Phoenix、Spark深度扩展，融合Solr检索等技术，支持海量数据的一站式存储、检索与分析。融合云kafka+云HBase X-Pack能够构建一体化的数据处理平台，支持风控、推荐、检索、画像、社交、物联网、时空、表单查询、离线数仓等场...
原理解析 | Apache Flink 结合 Kafka 构建端到端的 Exactly-Once 处理
文章目录： Apache Flink 应用程序中的 Exactly-Once 语义 Flink 应用程序端到端的 Exactly-Once 语义 示例 Flink 应用程序启动预提交阶段 在 Flink 中实现两阶段提交 Operator 总结 Apache Flink 自2017年12月发布的1....
Flume+Kafka+Flink+Redis构建大数据实时处理系统：实时统计网站PV、UV展示
1.大数据处理的常用方法 大数据处理目前比较流行的是两种方法，一种是离线处理，一种是在线处理，基本处理架构如下： 在互联网应用中，不管是哪一种处理方式，其基本的数据来源都是日志数据，例如对于web应用来说，则可能是用户的访问日志、用户的点击日志等。 如果对于数据的分析结果在时间上有比较严格的要求，则...
使用 Kafka 和 Flink 构建实时数据处理系统
引言 在很多领域，如股市走向分析, 气象数据测控，网站用户行为分析等，由于数据产生快，实时性强，数据量大，所以很难统一采集并入库存储后再做处理，这便导致传统的数据处理架构不能满足需要。流计算的出现，就是为了更好地解决这类数据在处理过程中遇到的问题。与传统架构不同，流计算模型在数据流动的过程中实时地进...
Flume+Kafka+Storm+Redis构建大数据实时处理系统
一、大数据处理的常用方法 之前在《采集→清洗→处理：基于MapReduce的离线数据分析》中已经有提及到，这里依然给出下面的图示： 前面给出的那篇文章是基于MapReduce的离线数据分析案例，其通过对网站产生的用户访问日志进行处理并分析出该网站在某天的PV、UV等数据。对应上面的图示，其走的就是离...
用Kafka和HBase构建一个基于Docker的数据采集器
本文讲的是用Kafka和HBase构建一个基于Docker的数据采集器，【编者的话】本文主要介绍在Docker上，用Kafka和HBase构建一个数据采集器，并用这个采集器用来记录Caltrain Rider这款应用的GPS数据。本文只是一个简单的实践，读者可以将此方法进行拓展，以更好的学习Dock...
【Spark Summit East 2017】使用Spark与Kafka构建Second Look业务用例实时平台
更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。 本讲义出自Ivy Lu在Spark Summit E...
【Spark Summit East 2017】使用Kafka, Spark, and Kudu构建实时BI系统
更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。 本讲义出自Ruhollah Farchtchi在Sp...
【Spark Summit East 2017】 使用Kafka Connect和Spark Streaming构建实时数据管道
更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。 本讲义出自Ewen Cheslack Postava...
Spring Cloud构建微服务架构（七）消息总线（续：Kafka）
Spring Cloud Bus除了支持RabbitMQ的自动化配置之外，还支持现在被广泛应用的Kafka。在本文中，我们将搭建一个Kafka的本地环境，并通过它来尝试使用Spring Cloud Bus对Kafka的支持，实现消息总线的功能。由于本文会以之前Rabbit的实现作为基础来修改，所以先...
更新时间 2023-03-25 15:20:10
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
社区圈子
