文章 2024-06-16 来自:开发者社区

实时计算 Flink版产品使用问题之同步到Hudi的数据是否可以被Hive或Spark直接读取

问题一:Flink CDC这个应该在哪里配? Flink CDC这个应该在哪里配?mysql 的超时我已经改成30s了 参考答案: 要么找DBA改一下,要么自己去看有没有参数改,我们是10分钟,有的...

实时计算 Flink版产品使用问题之同步到Hudi的数据是否可以被Hive或Spark直接读取
文章 2024-06-12 来自:开发者社区

EMR Serverless Spark:结合实时计算 Flink 基于 Paimon 实现流批一体

简介 EMR Serverless Spark 版是开源大数据平台 E-MapReduce 基于 Spark 提供的一款全托管、一站式的数据计算平台。它为用户提供任务开发、调试、发布、调度和运维等全方位的产品化服务,显著简化了大数据计算的工作流程,使用户能更专注于数据分析和价值提炼。 实时计算 Flink 版是阿里云提供的全托管 Serverless Flink 云服...

EMR Serverless Spark:结合实时计算 Flink 基于 Paimon 实现流批一体

大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第一阶段

33 课时 |
385 人已学 |
免费

大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第二阶段

28 课时 |
276 人已学 |
免费

大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第三阶段

25 课时 |
120 人已学 |
免费
开发者课程背景图
文章 2023-07-12 来自:开发者社区

Spark Streaming实时计算框架

Spark Streaming实时计算框架 近年来,在Web应用、网络监控、传感监测、电信金融、生产制造等领域,增强了对数据实时处理的需求,而Spark中的Spark Streaming实时计算框架就是为实现对数据实时处理的需求而设计 1,什么是实时计算 在传统的数据处理流程(==离线计算==)中,复杂的业务处理流程会造成结果数据密集,结果数据密集则存在数据反馈不及时,若是...

Spark Streaming实时计算框架
问答 2023-06-29 来自:开发者社区

DataWorks实时计算只能用EMR Spark Streaming节点吗?有没有flink sq

DataWorks实时计算只能用EMR Spark Streaming节点吗?有没有flink sql

问答 2023-03-08 来自:开发者社区

问下odps spark支持实时计算吗?

问下odps spark支持实时计算吗?

问答 2021-12-12 来自:开发者社区

怎么使用Spark对接Kafka进行实时计算?

怎么使用Spark对接Kafka进行实时计算?

问答 2021-12-07 来自:开发者社区

Spark实时计算原理流程是什么?

Spark实时计算原理流程是什么?

文章 2020-02-25 来自:开发者社区

实时计算与SparkSteaming的对比

以下为精彩视频内容整理: 实时计算概述 实时计算 阿里云实时计算(Alibaba Cloud Realtime Compute)是一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适应于流式数据处理、离线数据处理等场景,最重要的一点是免运维,可以为企业节省了大量的成本。 产品模式 阿里云的实时计算产品模式有Flink云原生版和独享模式。目前Flink云原生版支持部署于容....

实时计算与SparkSteaming的对比
文章 2019-10-14 来自:开发者社区

10月17日Spark社区直播【Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理】

主题:Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理 点击这里是直播间直达链接(回看链接)时间 10月17日:19:00-20:00 直播介绍:Tablestore是阿里云自研的云原生结构化大数据存储服务,本议题会详细介绍如何基于Tablestore的CDC技术,将大表内实时数据更新对接Spark Streaming来实现数据的实.....

10月17日Spark社区直播【Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理】
文章 2017-11-15 来自:开发者社区

Spark 实时计算整合案例

1.概述   最近有同学问道,除了使用 Storm 充当实时计算的模型外,还有木有其他的方式来实现实时计算的业务。了解到,在使用 Storm 时,需要编写基于编程语言的代码。比如,要实现一个流水指标的统计,需要去编写相应的业务代码,能不能有一种简便的方式来实现这一需求。在解答了该同学的疑惑后,整理了该实现方案的一个案例,供后面的同学学习参考。 2.内容   实现该方案,整体的流程是不变的,我这里....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注