阿里云文档 2024-12-02

通过SparkStreaming作业处理Kafka数据

本文介绍在阿里云E-MapReduce创建的包含kafka服务的DataFlow集群中,如何使用Spark Streaming作业从Kafka中实时消费数据。

阿里云文档 2024-07-02

如何使用Spark通过ENI网络访问消息队列Kafka版

本文介绍如何使用云原生数据仓库 AnalyticDB MySQL 版Spark通过ENI网络访问消息队列Kafka版。

阿里云文档 2023-09-13

如何处理Kafka集群的数据_EMR on ECS_开源大数据平台 E-MapReduce(EMR)

本文介绍如何在E-MapReduce的Hadoop集群运行Spark Streaming作业,处理Kafka集群的数据。

文章 2023-08-02 来自:开发者社区

Spark分布式计算框架之SparkStreaming+kafka

1、SparkStreaming的介绍SparkStreaming 是流式处理框架,是 Spark API 的扩展,支持可扩展、高吞吐量、容错的实时数据流处理,实时数据的来源可以是:Kafka, Flume,Twitter, ZeroMQ 或者 TCP sockets,并且可以使用高级功能的复杂算子来处理流数据。2、MR&Storm&Spark&flink的区别MR:针对....

阿里云文档 2023-05-25

如何基于云HBase和Spark构建一体化的数据处理平台

云HBase X-Pack是基于Apache HBase、Phoenix、Spark深度扩展,融合Solr检索等技术,支持海量数据的一站式存储、检索与分析。融合云Kafka+云HBase X-Pack能够构建一体化的数据处理平台,支持风控、推荐、检索、画像、社交、物联网、时空、表单查询、离线数仓等场景,助力企业数据智能化。

文章 2022-05-18 来自:开发者社区

Spark从入门到入土(四):SparkStreaming集成kafka

一、SparkStreaming概念SparkStreaming是一个准实时的数据处理框架,支持对实时数据流进行可扩展、高吞吐量、容错的流处理,SparkStreaming可以从kafka、HDFS等中获取数据,经过SparkStreaming数据处理后保存到HDFS、数据库等。sparkStreamingspark streaming接收实时输入数据流,并将数据分为多个微批,然后由spark ....

Spark从入门到入土(四):SparkStreaming集成kafka

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注