本方案通过阿里云OSS实现HDFS数据跨可用区冷备与快速恢复，保障业务连续性。
单可用区故障可能导致 HDFS 数据丢失及服务中断。本方案通过 OSS 跨可用区存储实现定期冷备，以便在故障发生时迅速启动新的集群并恢复数据，从而保障业务的连续性。
阿里云EMR Serverless Spark Notebook集成DuckDB，支持免密访问OSS/OSS-HDFS并高效操作多种数据格式。
阿里云 EMR Serverless Spark 的 Notebook 会话中引入了 DuckDB 的 Python 库，除了支持 DuckDB 开源版本所具备的所有功能外，还额外提供了免密访问 OSS/OSS-HDFS 的能力，从而能够直接读取 OSS 路径下的文件进行操作。
Serverless Spark支持通过自动或手动解冻OSS归档文件，确保SQL作业连续执行，需版本esr-4.4.0及以上。
当Spark作业需读取OSS归档存储中的数据时，因文件处于冻结状态无法直接访问，导致任务失败。本功能支持自动或手动触发解冻流程，确保作业正常执行，提升冷数据处理效率。
通过RootPolicy访问OSS-HDFS
OSS-HDFS服务支持RootPolicy。通过RootPolicy，您可以为OSS-HDFS服务设置自定义前缀。此功能使得Serverless Spark能够在无需修改原有访问hdfs://前缀的任务的情况下，直接操作OSS-HDFS上的数据。
使用Hadoop命令操作OSS/OSS-HDFS
在使用阿里云EMR Serverless Spark的Notebook时，您可以通过Hadoop命令直接访问OSS或OSS-HDFS数据源。本文将详细介绍如何通过Hadoop命令操作OSS/OSS-HDFS。
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
背 景 随着互联网服务的广泛普及与技术应用的深入发展，日志数据作为记录系统活动、用户行为和业务操作的宝贵资源，其价值愈发凸显。然而，当前海量日志数据的产生速度已经远远超出了传统数据分析工具的处理能力，这不仅要求我们具备高效的数据收集和存储机制，更呼唤着强大、灵活且易用的数据分析平台的诞生。在此背景下，Apache Spark，这一专为...
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
问题一：JindoFS与HDFS在POSIX语义支持上有何差异？ JindoFS与HDFS在POSIX语义支持上有何差异？ 参考回答： JindoFS与HDFS在POSIX语义支持上的差异主要体现在对随机写、细粒度锁和fallocate操作的支持上。JindoFS通过多版本机制和全新设计的Lease管理机制，实现了对POSIX语义的几乎完整支持，而HDFS则相对...
EMR报错提示oss://yourbucket/***/***/***”或“hdfs://yo...
EMR报错提示oss://yourbucket/***/***/***”或“hdfs://yourhost:9000/***/***/***”路径不存在
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
背景 随着互联网服务的广泛普及与技术应用的深入发展，日志数据作为记录系统活动、用户行为和业务操作的宝贵资源，其价值愈发凸显。然而，当前海量日志数据的产生速度已经远远超出了传统数据分析工具的处理能力，这不仅要求我们具备高效的数据收集和存储机制，更呼唤着强大、灵活且易用的数据分析平台的诞生。在此背景下，Apache Spark，这一专为大规模数据处理而设计的计算引擎，成为了构建高性能日志分...
使用EMR+DLF+OSS-HDFS进行数据湖分析
使用EMR+DLF+OSS-HDFS进行数据湖分析1. 创建实验资源开始实验之前，您需要先创建相关实验资源。在云起实验室，单击创建资源。（可选）在实验室页面左侧导航栏中，单击云产品资源列表，可查看本次实验资源相关信息（例如IP地址、用户信息等）。 说明：资源创建过程需要5~8分钟。2. 准备实验环境操作原理：用实验分配的RAM用户登录到阿里云管控台，在OSS管控台的数据湖管理中，为实验提供的Bu....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。