阿里云文档 2024-10-18

表格存储对接 Spark Streaming 场景案例的视频介绍

表格存储对接 Spark Streaming 场景案例的视频介绍

阿里云文档 2024-10-18

表格存储对接 Spark Streaming 的操作示例

表格存储对接 Spark Streaming 的操作示例

阿里云文档 2024-10-18

表格存储对接 Spark Streaming 介绍

表格存储对接 Spark Streaming 介绍

阿里云文档 2024-07-05

如何在Spark Streaming SQL中使用INSERT INTO语句

StarRocks中INSERT INTO语句的使用方式和MySQL等数据库中INSERT INTO语句的使用方式类似, 但在StarRocks中,所有的数据写入都是一个独立的导入作业 ,所以StarRocks中将INSERT INTO作为一种导入方式介绍。本文为您介绍Insert Into导入的使用场景、相关配置以及导入示例。

阿里云文档 2024-07-05

如何通过Spark Structured Streaming流式写入Iceberg表

本文为您介绍如何通过Spark Structured Streaming流式写入Iceberg表。

文章 2022-05-15 来自:开发者社区

基于Spark Streaming对新闻网站项目案例分析

一、需求分析新闻网站需求:pvuv注册用户数热门板块数据处理流程:数据源 -> kafka -> spark streaming二、数据准备(1)数据格式网站日志格式 :date,timestamp,userid,pageid,section,action日志字段说明:date: 日期,yyyy-MM-dd格式 timestamp: 时间戳 userid: 用户id pa...

文章 2017-01-13 来自:开发者社区

Spark Streaming函数的分析与理解

Go to   http://blog.csdn.net/dabokele/article/details/52602412

文章 2016-09-09 来自:开发者社区

Spark Streaming 1.6 流式状态管理分析

关于状态管理 在流式计算中,数据是持续不断来的,有时候我们要对一些数据做跨周期(Duration)的统计,这个时候就不得不维护状态了。而状态管理对Spark 的 RDD模型是个挑战,因为在spark里,任何数据集都需要通过RDD来呈现,而RDD 的定义是一个不变的分布式集合。在状态管理中,比如Spark Streaming中的word-count 就涉及到更新原有的记录,比如在batch 1 中....

文章 2016-09-07 来自:开发者社区

Spark Streaming Direct Approach (No Receivers) 分析

前言 这个算是Spark Streaming 接收数据相关的第三篇文章了。 前面两篇是: Spark Streaming 数据产生与导入相关的内存分析 Spark Streaming 数据接收优化 Spark Streaming 接受数据的方式有两种: Receiver-based Approach Direct Approach (No Receivers) 上面提...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注