阿里云文档 2024-09-24

高性能版Spark全密态计算引擎的使用方法

云原生数据仓库 AnalyticDB MySQL 版Spark全密态计算引擎高性能版,在Spark全密态引擎基础版能力的基础上,支持Parquet模块化加密功能,且兼容社区版Spark、Hadoop、Hive等计算引擎,在保证数据传输与存储过程安全的同时,提升了数据处理效率。本文介绍如何通过Spark全密态计算引擎高性能版加密数据,并基于密文表执行SQL计算。

阿里云文档 2024-09-24

什么是Spark全密态计算引擎

AnalyticDB for MySQL Spark全密态计算引擎是首批通过信通院隐私计算可信执行环境《产品性能》和《安全功能》两项认证的产品,它可以加密敏感数据,避免数据泄露。您可以通过本文,了解Spark全密态计算引擎在安全合规等领域的应用场景、功能优势、以及基础版和高性能版的功能对比。

阿里云文档 2024-09-24

基础版Spark全密态计算引擎的使用方法

云原生数据仓库 AnalyticDB MySQL 版Spark全密态计算引擎基础版可以加密敏感数据,并将数据以密文的形式传输和存储,只有密钥拥有者才能解密数据,避免数据泄露。本文以云数据库RDS MySQL例,介绍使用Spark全密态计算引擎基础版加密数据,计算和分析密态数据,解密计算结果的完整过程。

阿里云文档 2024-08-12

什么是AnalyticDB for MySQL Serverless Spark计算引擎

Apache Spark是一个通用的开源的分布式处理系统,通常用于大数据工作负载。Spark既支持使用SQL,又支持编写多种语言的DataFrame代码,兼具易用性和灵活性。Spark通用化的引擎能力可以同时提供SQL、批处理、流处理、机器学习和图计算的能力。

阿里云文档 2024-07-30

高性能版Spark全密态计算引擎性能测试报告

本文介绍高性能版Spark全密态计算引擎与AnalyticDB for MySQL Spark的性能测试流程及对比结果,通过对比可知,在处理大规模数据集时,高性能版Spark全密态计算引擎相较于AnalyticDB for MySQL Spark 3.2.0版本的性能提升了0.9倍,具体性能对比详情请参见本文。

文章 2022-07-25 来自:开发者社区

BigData之Spark:Spark计算引擎的简介、下载、经典案例之详细攻略

目录Spark的简介1、Spark三大特点Spark的下载Spark的经典案例1、Word Count2、Pi Estimation3、Text Search4、Prediction with Logistic Regression    Spark的简介        Apache Spark 是专为大规模数据处理....

文章 2022-05-27 来自:开发者社区

Spark Streaming——Spark第一代实时计算引擎

一.什么是Spark StreamingSpark Streaming在当时是为了与当时的Apache Storm竞争,也让Spark可以用于流式数据的处理。根据其官方文档介绍,Spark Streaming有高吞吐量和容错能力强等特点。Spark Streaming支持的数据输入源很多,例如:Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。数据输入后可以用Spar....

Spark Streaming——Spark第一代实时计算引擎
问答 2021-12-06 来自:开发者社区

Spark计算引擎是什么?

Spark计算引擎是什么?

文章 2021-11-05 来自:开发者社区

BigData之Spark:Spark计算引擎的简介、下载、经典案例之详细攻略

Spark的简介        Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出....

文章 2019-04-28 来自:开发者社区

上:Spark VS Flink – 下一代大数据计算引擎之争,谁主沉浮?

作者简介王海涛,曾经在微软的 SQL Server和大数据平台组工作多年。带领团队建立了微软对内的 Spark 服务,主打 Spark Streaming。去年加入阿里实时计算部门,参与改进阿里基于 Apache Flink 的Blink 平台。导读: 做大数据绝对躲不过的一个热门话题就是实时流计算,而提到实时流计算,就不得不提 Spark 和 Flink。Spark 从 2014 年左右开始迅....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注