阿里云文档 2025-11-05

调用GetFile API获取文件详情-大数据开发治理平台 DataWorks-阿里云

该接口用于获取文件的详情。

阿里云文档 2025-11-03

使用DistCp任务实现大规模文件迁移

当您需要大文件或多文件的纯文件复制时,可以使用DataWorks创建DistCp任务,该方式能够极大的提高同步传输的效率,实现跨文件系统、大规模数据迁移和同步需求。

阿里云文档 2025-09-19

Serverless Spark支持通过自动或手动解冻OSS归档文件,确保SQL作业连续执行,需版本esr-4.4.0及以上。

当Spark作业需读取OSS归档存储中的数据时,因文件处于冻结状态无法直接访问,导致任务失败。本功能支持自动或手动触发解冻流程,确保作业正常执行,提升冷数据处理效率。

问答 2025-02-08 来自:开发者社区

如何将py文件资源传入ODPS DataFrame的map/apply方法的resources参数?

1、使用场景:在PyODPS3节点中使用了DataFrame的map和apply方法,编写自定义函数,传入一个collection资源和一个py文件资源,并在自定义函数中使用collection和py文件资源中的函数进行数据处理。2、问题:通过map/apply方法的resources参数,可以传入collection资源和py文件资源,目前传入collection资源没有问题,但是如何正确传入....

问答 2022-04-15 来自:开发者社区

UDF读取文件问题 我在一个UDF中需要读一个文件,所以我用odpscmd把这个文件作为资源加到我的project中: > add file b_xx.txt -f OK: Resource 'b_xx.txt' have been updated. 我在UDF的setup中使用context.readResourceFileAsStream("b_xx.txt")读取该资源的时候,提示file not found。 是不是需要一个odps内部使用的资源定位路径才能访问该资源? 另外,我在i

UDF读取文件问题我在一个UDF中需要读一个文件,所以我用odpscmd把这个文件作为资源加到我的project中:add file b_xx.txt -f OK: Resource 'b_xx.txt' have been updated.我在UDF的setup中使用context.readResourceFileAsStream("b_xx.txt")读取该资源的时候,提示file no...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

云原生大数据计算服务 MaxCompute文件相关内容

云原生大数据计算服务 MaxCompute您可能感兴趣

产品推荐

阿里巴巴大数据计算

阿里大数据官方技术圈

+关注