阿里云文档 2024-11-28

引擎版本介绍

阿里云EMR Serverless Spark采用的是基于Apache Spark引擎。本文为您详细介绍引擎版本号及其含义。

阿里云文档 2024-10-28

什么是Fusion引擎

Fusion引擎是EMR Serverless Spark内置的高性能向量化SQL执行引擎,相比开源Spark在TPC-DS基准测试上有2倍性能提升。Fusion引擎与开源Spark完全兼容,您无需对现有代码做任何修改。在EMR Serverless Spark中,只需在创建会话时开启使用Fusion加速开关,即可启用该引擎。

阿里云文档 2024-10-17

调用GetSparkSQLEngineState查询SparkSQL引擎状态

查询Spark SQL引擎的状态。

阿里云文档 2024-10-17

调用KillSparkSQLEngine关闭SparkSQL引擎

关闭Spark SQL引擎。

文章 2024-08-15 来自:开发者社区

流计算引擎数据问题之在 Spark Structured Streaming 中水印计算和使用如何解决

问题一:Apache Kafka Streams 的完整性推理过程是怎样的? Apache Kafka Streams 的完整性推理过程是怎样的? 参考回答: Apache Kafka Streams 的完整性推理过程不使用流中嵌入的特殊元信息或系统级低水印时间戳,而是允许通过在每个算子上配置宽限期来进行细粒度的完整性确定。生产阶段,事件流经算子时,算...

流计算引擎数据问题之在 Spark Structured Streaming 中水印计算和使用如何解决
文章 2024-07-20 来自:开发者社区

Python与Apache Spark:实时AI的大数据引擎——Spark Streaming实战

讨如何将Python与Apache Spark结合起来,特别是利用Spark Streaming处理实时数据流中的AI任务。Spark Streaming是一个强大的工具,能够实现实时数据处理,非常适合大规模的数据流分析和机器学习任务。 第一步:环境配置 安装Spark:确保已经安装了Apache Spark,包...

问答 2024-05-16 来自:开发者社区

大数据计算MaxCompute 执行 Hive Sql 时,用的什么引擎啊,是Spark 吗?

大数据计算MaxCompute 执行 Hive Sql 时,用的什么引擎啊,是Spark 吗?

阿里云文档 2024-04-28

Spark Native引擎使用

请注意,EMR on ECS形态已下线Spark Native引擎。目前,仅在EMR Serverless Spark形态提供Fusion Engine(Spark Native Engine)。更多信息,请参见什么是EMR Serverless Spark。

问答 2023-04-05 来自:开发者社区

SeaTunnel 这个东西有人用过吗?听说这个可以集成自由切换引擎 flink 和 spark

SeaTunnel 这个东西有人用过吗?听说这个可以集成自由切换引擎 flink 和 spark。请问SeaTunnel 有UI界面吗? 能在页面直接配置上下游数据源 就 完成数据集成了吗?

问答 2023-01-09 来自:开发者社区

工作空间已经绑定了EMR引擎,怎么这里看不到EMR hive、EMR spark节点怎么回事呢?

工作空间已经绑定了EMR引擎,怎么这里看不到EMR hive、EMR spark节点怎么回事呢?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注