Serverless Spark支持通过自动或手动解冻OSS归档文件,确保SQL作业连续执行,需版本esr-4.4.0及以上。
当Spark作业需读取OSS归档存储中的数据时,因文件处于冻结状态无法直接访问,导致任务失败。本功能支持自动或手动触发解冻流程,确保作业正常执行,提升冷数据处理效率。
阿里云EMR Serverless Spark Notebook集成DuckDB,支持免密访问OSS/OSS-HDFS并高效操作多种数据格式。
阿里云EMR Serverless Spark Notebook集成了DuckDB,并增强了其与云上数据源的集成能力。用户除了可以免密访问OSS/OSS-HDFS并高效操作多种格式的数据文件外,还可以直接通过SQL查询DLF(数据湖构建)中定义的元数据表,实现对数据湖的一站式、轻量化探索与分析。
通过DLF对Flink写入Paimon的MySQL数据进行联邦查询-云原生大数据计算服务MaxCompute-阿里云
本文介绍基于Flink创建Paimon DLF Catalog,读取MySQL CDC数据并写入OSS,进一步将元数据同步到DLF,进而使用MaxCompute的external schema进行数据湖联邦查询。
通过DLF在MaxCompute中联邦查询OSS的CSV数据-云原生大数据计算服务 MaxCompute-阿里云
本文介绍通过配置DLF,将数据从OSS抽取到DLF元数据中,并使用MaxCompute的external schema进行数据湖联邦查询。该方案可以方便地进行数据分析和处理,并保证数据的可靠性和安全性。
本方案通过阿里云OSS实现HDFS数据跨可用区冷备与快速恢复,保障业务连续性。
单可用区故障可能导致 HDFS 数据丢失及服务中断。本方案通过 OSS 跨可用区存储实现定期冷备,以便在故障发生时迅速启动新的集群并恢复数据,从而保障业务的连续性。
大数据计算MaxCompute存的内部表,存储空间收费是按照oss系统进行收费的吗?
大数据计算MaxCompute存的内部表,存储空间收费是按照oss系统进行收费的吗?在哪里看存储单价呢?
大数据计算MaxCompute中oss上面的Parquet格式文件支持读取么?
大数据计算MaxCompute中oss上面的Parquet格式文件支持读取么?
大数据计算MaxCompute从hive表将数据以orc方式写入oss,然后mc再将这些数据load
大数据计算MaxCompute从hive表将数据以orc方式写入oss,然后mc再将这些数据load到oss外表,有相关的文档和方法吗?
在大数据计算MaxCompute中mc再将这些数据load到oss外表,有相关的文档和方法吗?
在大数据计算MaxCompute中从hive表将数据以orc方式写入oss,然后mc再将这些数据load到oss外表,有相关的文档和方法吗?
大数据计算MaxCompute如何快速建表?可否共用 oss 的底层数据?
hive表现在在 emr 上面,数据存在 oss 里面,大数据计算MaxCompute如何快速建表?可否共用 oss 的底层数据?
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。
对象存储OSS
对象存储 OSS 是一款安全、稳定、高性价比、高性能的云存储服务,可以帮助各行业的客户在互联网应用、大数据分析、机器学习、数据归档等各种使用场景存储任意数量的数据,以及进行任意位置的访问,同时通过丰富的数据处理能力更便捷地使用数据。
+关注