大数据Apache实战的相关内容

阿里云文档 2025-08-27

使用Apache Ranger管理StarRocks权限

Apache Ranger提供了一个集中式的安全管理框架，您可以通过可视化的Web页面来定制各种访问策略，决定哪些角色能访问哪些数据。通过集成Apache Ranger，您可以实现细粒度的权限控制，确保数据访问的安全性与合规性。

阿里云文档 2025-07-17

通过Apache Airflow提交任务

Apache Airflow是一个强大的工作流程自动化和调度工具，它允许开发者编排、计划和监控数据管道的执行。EMR Serverless Spark为处理大规模数据处理任务提供了一个无服务器计算环境。本文为您介绍如何通过Apache Airflow实现自动化地向EMR Serverless Spark提交任务，以实现作业调度和执行的自动化，帮助您更有效地管理数据处理任务。

文章 2024-10-14 来自：开发者社区

大数据-156 Apache Druid 案例实战 Scala Kafka 订单统计

点一下关注吧！！！非常感谢！！持续更新！！！目前已经更新到了： Hadoop（已更完） HDFS（已更完） MapReduce（已更完） Hive（已更完） Flume（已更完） Sqoop（已更完） Zookeeper（已更完） HBase（已更完） Redis （已更完） Kafka（已更完） ...

阿里云文档 2024-05-06

Apache Hadoop FileUtil.unTar命令注入漏洞

2022年8月4日，Apache Hadoop官方披露修复了一个Shell命令注入漏洞CVE-2022-25168。由于Apache Hadoop的FileUtil.unTar API在传递Shell之前未对输入的文件名进行转义，攻击者可以利用该漏洞注入任意命令，从而对集群造成破坏。

阿里云文档 2024-03-22

Apache Kafka Connect远程代码执行漏洞

2023年02月08日，Apache发布了一则安全公告，修复了Apache Kafka中存在的一个反序列化漏洞，漏洞编号为CVE-2023-25194。在攻击者可以控制Apache Kafka Connect客户端的情况下，通过SASL JAAS配置和基于SASL的安全协议，在其上创建或修改连接器，从而触发JNDI代码执行漏洞。

阿里云文档 2023-11-03

如何使用ApacheHDFS透明缓存加速_EMR on ECS_开源大数据平台 E-MapReduce(EMR)

Apache HDFS透明缓存加速可以利用计算集群的闲置存储资源对远端HDFS集群进行数据缓存，避免了计算集群或服务占用核心集群过多带宽。当HDFS集群和计算集群分离，HDFS集群访问性能不及预期时，您可以通过在计算集群或靠近计算集群的地方缓存数据来进行加速。

文章 2023-08-15 来自：开发者社区

创建 DataFrame在 Scala 中，可以通过以下几种方式创建 DataFrame：从现有的 RDD 转换而来。例如：import org.apache.spark.sql.SparkSession val spark = SparkSession.builder.appName("Create DataFrame").getOrCreate() import spark.implicit....

文章 2023-08-15 来自：开发者社区

【大数据】Apache Spark入门到实战 3

CheckPointCheckPoint可以将RDD从其依赖关系中抽出来，保存到可靠的存储系统（例如HDFS，S3等)，即它可以将数据和元数据保存到检查指向目录中。因此，在程序发生崩溃的时候，Spark可以恢复此数据，并从停止的任何地方开始。CheckPoint分为两类：高可用CheckPoint：容错性优先。这种类型的检查点可确保数据永久存储，如存储在HDFS或其他分布式文件系统上。这也意味....

文章 2023-08-15 来自：开发者社区

【大数据】Apache Spark入门到实战 2

RDDRDD的概念在Spark中十分重要，上面只是简单的介绍了一下，下面详细的对RDD展开介绍。RDD是“Resilient Distributed Dataset”的缩写，从全称就可以了解到RDD的一些典型特性：Resilient（弹性）：RDD之间会形成有向无环图（DAG），如果RDD丢失了或者失效了，可以从父RDD重新计算得到。即容错性。Distributed（分布式）：RDD的数据是以逻....

文章 2023-08-15 来自：开发者社区

【大数据】Apache Spark入门到实战 1

之前说到了之后工作中会接触到Spark离线任务相关的内容，也预先学习了Scala，所以这篇文章它来了。本篇文章会介绍Spark的相关概念以及原理，帮助初学者快速入门Spark。Spark是什么学习一个东西之前总要知道这个东西是什么。Spark 是一个开源的大数据处理引擎，它提供了一整套开发 API，包括流计算和机器学习。它支持批处理和流处理。Spark 的一个显著特点是它能够在内存中进行迭代计算....