文章 2018-04-28 来自:开发者社区

MaxCompute(ODPS)上处理非结构化数据的Best Practice

随着MaxCompute(ODPS)2.0的上线,新增的非结构化数据处理框架也推出一系列的介绍文章,包括 1、MaxCompute上如何访问OSS数据, 基本功能用法和整体介绍,侧重介绍读取OSS数据进行计算处理; 2、MaxCompute上处理非结构化数据的Best Practice。 基于非结构化框架实现原理,提供一些最佳实践总结; 3、MaxCompute访问TableStore(OTS)....

问答 2017-07-18 来自:开发者社区

请问使用MaxCompute(原ODPS) python SDK的时候,如何获取表所有的数据,而不是前一万条? 还有bi报表抓取数据好像也是前10000条,导出也是这么多,怎么样能够导出所有数据呢?

请问使用MaxCompute(原ODPS) python SDK的时候,如何获取表所有的数据,而不是前一万条?还有bi报表抓取数据好像也是前10000条,导出也是这么多,怎么样能够导出所有数据呢?

文章 2017-06-26 来自:开发者社区

PgSQL · 最佳实践 · 从 MaxCompute (ODPS) 迁移数据到 HybridDB

title: PgSQL · 最佳实践 · 从 ODPS 迁移数据到 HybridDB author: 曾文旌(义从) 背景 最近,不少用户在尝试使用 HybridDB 的过程中,询问我们如何把之前在 ODPS 中的数据迁移到 HybridDB。今天就跟大家介绍一种效率较高的方法。 一:原理 ODPS 和 HybridDB 都是多数据节点组合成的集群架构,这样的架构如果要做到效率较高的数据吞吐,....

问答 2017-05-19 来自:开发者社区

使用MaxCOmpute python SDK读取ODPS上一张表,做一些处理后,写入另外一张表,读取和写入都是多线程的。遇到问题1. 多线程处理时,每个线程每次循环(每次循环处理100条数据)均新建了一个odps连接,有没有可能是odps连接太多了?文档中没有发现如何关闭这个odps连接? 2. 在ODPS客户端,操作一些sql命令时,也是有超时的,客户端也有超时的话,是不是可以先排除程序的问题?如下: Aliyun ODPS Command Line Tool Version 0.21.1 @Copy

使用MaxCOmpute python SDK读取ODPS上一张表,做一些处理后,写入另外一张表,读取和写入都是多线程的。遇到问题1. 多线程处理时,每个线程每次循环(每次循环处理100条数据)均新建了一个odps连接,有没有可能是odps连接太多了?文档中没有发现如何关闭这个odps连接?2. 在ODPS客户端,操作一些sql命令时,也是有超时的,客户端也有超时的话...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

云原生大数据计算服务 MaxCompute数据相关内容

云原生大数据计算服务 MaxCompute更多数据相关

云原生大数据计算服务 MaxCompute您可能感兴趣

产品推荐

阿里巴巴大数据计算

阿里大数据官方技术圈

+关注