阿里云文档 2025-09-16

无需解冻直接实时读取OSS-HDFS服务归档文件

归档直读是指直接访问OSS-HDFS服务中归档存储类型的文件,而无需先对其解冻。归档直读适用于实时读取极少需要访问的数据场景。

阿里云文档 2025-07-10

使用Check节点检查数据源或实时同步任务是否可用

DataWorks的Check节点可用于检查目标对象(MaxCompute分区表、FTP文件、OSS文件、HDFS文件、OSS_HDFS文件以及实时同步任务)是否可用,当Check节点满足检查策略后会返回运行成功状态。如果某任务的运行依赖目标对象,您可使用Check节点检查目标对象,并设置该任务为Check节点的下游任务,当Check节点满足检查策略后,便会运行成功并触发下游任务执行。本文为您介绍...

阿里云文档 2024-08-06

访问权限的概念、使用方式及其相关注意事项

文件存储 HDFS 版为目录和文件提供了一种访问权限,该访问权限类似于POSIX文件系统的权限模型。本文简要介绍访问权限的概念、使用方式及其相关注意事项。

阿里云文档 2024-05-13

写入HDFS出现无法close文件的解决方案

本文介绍写入HDFS出现无法close文件的异常的解决方案。

问答 2024-04-15 来自:开发者社区

flink cdc写hdfs文件的时候,如果开启文件合并的话,最终的文件不能通过hive映射读取吗?

flink cdc写hdfs文件的时候,文件格式设置为parquet,压缩方式为GZIP,如果开启文件合并的话,最终的文件不能通过hive映射读取,这个怎么解决啊?

问答 2023-11-22 来自:开发者社区

有遇到有Flink CDC同步到hudi,hdfs上有文件,hive没有自动建表?

有遇到有Flink CDC同步到hudi,hdfs上有文件,hive没有自动建表?

阿里云文档 2023-09-13

如何进行文件内容校验_EMR on ECS_开源大数据平台 E-MapReduce(EMR)

通过JindoDistCp从HDFS迁移到OSS-HDFS的文件,可以进行文件内容检验。本文为您介绍文件内容校验的操作步骤。

文章 2017-12-01 来自:开发者社区

将hdfs 上的文件通过shell脚本 导入到hive上面

一个应用的数据来源从PostgreSql导入到hdfs 需要使用API来定义这样做的好处就是一次写入永久执行而从hdfs导入到hive表中有多种方式 shell 脚本算一种在整个应用构建中 处于一个新的模块中通过new新的文件因为是类sql(导入到hive上)所以文件格式为xxx.hql整个项目创建或许会产生很多文件 所以对与命名上也需要按照一定的格式xx_yy_zz.hql xx 表示当前...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

云存储

阿里云存储基于飞天盘古2.0分布式存储系统,产品多种多样,充分满足用户数据存储和迁移上云需求。

+关注