阿里云文档 2025-06-12

为Kyuubi Gateway配置并启用LDAP认证

通过启用LDAP认证,可以增强Kyuubi的安全性,确保只有提供正确的用户名和密码后,客户端才能成功连接到Kyuubi Server启动Spark Session并执行SQL查询,有效防止未授权访问敏感数据和功能的风险。

阿里云文档 2025-06-06

为Kyuubi Gateway配置并启用Ranger鉴权

Apache Ranger提供了集中式的权限管理框架。通过与Spark结合使用的Ranger Plugin,可以对Spark SQL访问数据库、表和列等进行细粒度的权限控制,从而增强数据访问的安全性。Kyuubi Gateway支持配置Ranger Plugin来启用数据访问的权限控制。

阿里云文档 2025-06-06

为Livy Gateway配置并启用LDAP认证

通过启用LDAP认证,可以增强Livy的安全性,确保只有提供正确的用户名和密码后,客户端才能成功连接到Livy Gateway执行相应的操作,有效防止未授权访问敏感数据和功能的风险。

阿里云文档 2025-06-06

Livy配置文件示例

本文详细介绍了Livy的核心配置文件及其参数,帮助您在阿里云EMR Serverless Spark中正确配置Livy Gateway并使用相关功能。

阿里云文档 2025-06-06

混合计费

混合计费模式支持在包年包月模式的基础上配置弹性计算资源,其结合了按量付费的灵活性与包年包月的成本效益,提供了一种更优化的计费策略。本文为您介绍混合计费的适用场景、计费规则,以及如何开启与使用弹性计算资源等信息。

文章 2024-10-14 来自:开发者社区

大数据-105 Spark GraphX 基本概述 与 架构基础 概念详解 核心数据结构

点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: Hadoop(已更完) HDFS(已更完) MapReduce(已更完) Hive(已更完) Flume(已更完) Sqoop(已更完) Zookeeper(已更完) HBase(已更完) Redis (已更完) Kafka(已更完) ...

大数据-105 Spark GraphX 基本概述 与 架构基础 概念详解 核心数据结构
文章 2024-10-14 来自:开发者社区

大数据-98 Spark 集群 Spark Streaming 基础概述 架构概念 执行流程 优缺点

点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: Hadoop(已更完) HDFS(已更完) MapReduce(已更完) Hive(已更完) Flume(已更完) Sqoop(已更完) Zookeeper(已更完) HBase(已更完) Redis (已更完) Kafka(已更完) ...

大数据-98 Spark 集群 Spark Streaming 基础概述 架构概念 执行流程 优缺点
文章 2024-06-12 来自:开发者社区

【大数据】计算引擎:Spark核心概念

前言 本文是作者大数据系列中的一文 该系列会成体系的聊一聊整个大数据的技术栈,绝对干货,欢迎订阅。 1.什么是Spark 整个大数据的计算引擎是先有了MapReduce,再有的其它,可以理解为后面出现的其它计算引擎都是对MapReduce的一个补足与升级。 Spark就是对MapReduce的一个补足与升级,其弥补了MapReduce在迭代计算上孱弱的缺陷...

【大数据】计算引擎:Spark核心概念
文章 2023-12-20 来自:开发者社区

【大数据技术Hadoop+Spark】HDFS概念、架构、原理、优缺点讲解(超详细必看)

一、相关基本概念文件系统。文件系统是操作系统提供的用于解决“如何在磁盘上组织文件”的一系列方法和数据结构。分布式文件系统。分布式文件系统是指利用多台计算机协同作用解决单台计算机所不能解决的存储问题的文件系统。如单机负载高、数据不安全等问题。HDFS。英文全称为Hadoop Distributed File System,是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,它是基于流....

【大数据技术Hadoop+Spark】HDFS概念、架构、原理、优缺点讲解(超详细必看)
文章 2022-02-16 来自:开发者社区

《Spark与Hadoop大数据分析》——3.2 学习Spark的核心概念

3.2 学习Spark的核心概念 在本节,我们要了解 Spark 的核心概念。Spark 提供的主要抽象是弹性分布式数据集(Resilient Distributed Dataset,RDD)。因此,我们要了解 RDD 是什么,以及提供内存级性能和容错的 RDD 中包含的运算。但是,首先我们要学习使用 Spark 的方法。 3.2.1 使用 Spark 的方法 使用 Spark 有两种方法,即 ....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注