阿里云文档 2025-05-29

EMR Spark Streaming节点

EMR Spark Streaming节点用于处理高吞吐量的实时流数据,并具备容错机制,可以帮助您快速恢复出错的数据流。本文为您介绍如何创建EMR Spark Streaming节点并进行数据开发。

阿里云文档 2024-10-18

表格存储对接 Spark Streaming 场景案例的视频介绍

表格存储对接 Spark Streaming 场景案例的视频介绍

阿里云文档 2024-10-18

表格存储对接 Spark Streaming 的操作示例

表格存储对接 Spark Streaming 的操作示例

阿里云文档 2024-10-18

表格存储对接 Spark Streaming 介绍

表格存储对接 Spark Streaming 介绍

文章 2024-07-20 来自:开发者社区

Python与Apache Spark:实时AI的大数据引擎——Spark Streaming实战

讨如何将Python与Apache Spark结合起来,特别是利用Spark Streaming处理实时数据流中的AI任务。Spark Streaming是一个强大的工具,能够实现实时数据处理,非常适合大规模的数据流分析和机器学习任务。 第一步:环境配置 安装Spark:确保已经安装了Apache Spark,包...

阿里云文档 2024-07-05

如何在Spark Streaming SQL中使用INSERT INTO语句

StarRocks中INSERT INTO语句的使用方式和MySQL等数据库中INSERT INTO语句的使用方式类似, 但在StarRocks中,所有的数据写入都是一个独立的导入作业 ,所以StarRocks中将INSERT INTO作为一种导入方式介绍。本文为您介绍Insert Into导入的使用场景、相关配置以及导入示例。

文章 2022-12-29 来自:开发者社区

Spark Streaming实时流处理项目实战笔记——实战之黑名单过滤

思路源代码窗口函数 代码实现object Black extends App { import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, StreamingContext} val sparkConf = new SparkConf().setMaster("local[2]")....

Spark Streaming实时流处理项目实战笔记——实战之黑名单过滤
文章 2022-06-13 来自:开发者社区

【Spark Streaming】(五)Spark Streaming 与 Kafka 集成实战!

文章目录一、前言二、项目准备2.1 添加Kafka的pom依赖2.2 启动zookeeper集群2.3 启动kafka集群2.4 创建topic2.5 向topic中生产数据三、KafkaUtils.createDstream3.1 原理3.2 实战四、KafkaUtils.createDirectStream4.1 原理4.2 实战4.3 结果展示一、前言首先,我们先来简单的了解下 Kafka....

【Spark Streaming】(五)Spark Streaming 与 Kafka 集成实战!
文章 2022-06-11 来自:开发者社区

【Spark Streaming】(二)DStream 编码实战

文章目录一、前言二、DStream 编程模型三、DStream 操作3.1 套接字流:通过监听 Socket 端口来接收数据3.2 文件流3.2 RDD队列流3.4 带状态的处理 StateFull一、前言从前一篇博客 【Spark Streaming】(一)架构及工作原理 ,我们了解到 Sprak Streaming 是属于 Saprk API 的扩展,它支持实时数据流(live data s....

文章 2017-11-08 来自:开发者社区

Spark入门实战系列--7.Spark Streaming(下)--实时流计算Spark Streaming实战

【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取 1、实例演示 1.1 流数据模拟器 1.1.1 流数据说明 在实例演示中模拟实际情况,需要源源不断地接入流数据,为了在演示过程中更接近真实环境将定义流数据模拟器。该模拟器主要功能:通过Socket方式监听指定的端口号,当外部程序通过该端口连接并请求数据时,模拟器将定时将指定的文件数据...

Spark入门实战系列--7.Spark Streaming(下)--实时流计算Spark Streaming实战

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注