问答 2025-02-08 来自:开发者社区

如何将py文件资源传入ODPS DataFrame的map/apply方法的resources参数?

1、使用场景:在PyODPS3节点中使用了DataFrame的map和apply方法,编写自定义函数,传入一个collection资源和一个py文件资源,并在自定义函数中使用collection和py文件资源中的函数进行数据处理。2、问题:通过map/apply方法的resources参数,可以传入collection资源和py文件资源,目前传入collection资源没有问题,但是如何正确传入....

文章 2024-07-24 来自:开发者社区

ODPS SQL问题之在何种情况下建议使用Distributed Map Join

问题一:在何种情况下建议使用Distributed Map Join? 在何种情况下建议使用Distributed Map Join? 参考回答: 当大表数据量远大于小表,且磁盘IO成为性能瓶颈时,建议使用Distributed Map Join。因为这种方式可以利用分布式哈希表并行处理大量数据,减少磁盘IO的使用。但是,如果网络带宽成为瓶颈,或者小表数据量很大...

问答 2022-04-15 来自:开发者社区

ODPS UDAF 最终结果集合输出的是空map?

以下是我在terminate中的输出处理, 控制台输出有内容, 但是输出的表结果内数据是空MAP, 要输出Map, 应该用什么数据类型 以及怎么处理? 其中 MapWritable result = new com.aliyun.odps.io.MapWritable(); 我使用的注解是 @Resolve({"string,double->map"}) 还有就是现阶段, ODPS UDAF...

问答 2022-04-15 来自:开发者社区

ODPS里写了map/reduce为什么数据生成到本地了

ODPS里建了两个表从第一个表抽数据到第二个表的时候,发现数据生成到了本地,对应的第二个表里没有。是用eclipse的sdk跑的程序

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。