阿里云文档 2024-10-18

表格存储对接 Spark Streaming 场景案例的视频介绍

表格存储对接 Spark Streaming 场景案例的视频介绍

阿里云文档 2024-10-18

表格存储对接 Spark Streaming 的操作示例

表格存储对接 Spark Streaming 的操作示例

阿里云文档 2024-10-18

表格存储对接 Spark Streaming 介绍

表格存储对接 Spark Streaming 介绍

阿里云文档 2024-07-05

如何在Spark Streaming SQL中使用INSERT INTO语句

StarRocks中INSERT INTO语句的使用方式和MySQL等数据库中INSERT INTO语句的使用方式类似, 但在StarRocks中,所有的数据写入都是一个独立的导入作业 ,所以StarRocks中将INSERT INTO作为一种导入方式介绍。本文为您介绍Insert Into导入的使用场景、相关配置以及导入示例。

阿里云文档 2024-07-05

如何通过Spark Structured Streaming流式写入Iceberg表

本文为您介绍如何通过Spark Structured Streaming流式写入Iceberg表。

文章 2022-12-29 来自:开发者社区

Spark Streaming实时流处理项目实战笔记——实战之黑名单过滤

思路源代码窗口函数 代码实现object Black extends App { import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, StreamingContext} val sparkConf = new SparkConf().setMaster("local[2]")....

Spark Streaming实时流处理项目实战笔记——实战之黑名单过滤
文章 2022-12-29 来自:开发者社区

Spark Streaming实时流处理项目实战笔记——将统计结果写入到MySQL数据库中

思路两种方式,一种可优化(foreachRDD后,直接创建连接Mysql),一种在(foreachRDD后通过foreachPartition,通过分区获取)代码实现import java.sql.DriverManager import Spark.UpdateStateByKey.workds import Spark.WordCount.ssc import org.apache.spar....

Spark Streaming实时流处理项目实战笔记——将统计结果写入到MySQL数据库中
文章 2018-09-02 来自:开发者社区

01. Spark Streaming实时流处理学习——初识实时流处理

1. 初识实时流处理 1.1. 业务现状分析 统计主站每个(指定)课程访问的客户、地域信息分布地域:ip转换客户端:useragent获取如上两个操作:采用离线(Spark/MapReduce)的方式进行统计 实现步骤课程编号、IP信息、useragent进行相应的统计分析操作:MapReduce/Spark 项目架构日志收集:Flume离线分析:MapReduce/Spark统计结果图形化展示....

01. Spark Streaming实时流处理学习——初识实时流处理
文章 2018-09-02 来自:开发者社区

Spark Streaming实时流处理学习

目录 1.初识实时流处理 2.分布式日志收集框架Flume 3.分布式发布订阅消息系统Kafka 4.实战环境搭建 5.Spark Streaming入门 6.Spark Streaming核心概念与编程 7.Spark Streaming进阶与案例实战 8.Spark Streaming整合Flume 9.Spark Streaming整合Kafka 10.Spark Streaming整合F....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注