采集云原生大数据计算服务 MaxCompute 的相关内容

阿里云文档 2026-01-21

External Catalog采集方式

数据地图针对External Catalog的元数据采集目前为间接关联形式，如果您在StarRocks类型数据库中已使用External Catalog能力，并期望在数据地图中通过StarRocks数据源类型作为来源，查看其External Catalog下的表及元数据详情，可通过本文进行操作配置。配置并采集完成后，可利用数据地图的搜索功能，搜索和查看StarRocks External Cata...

阿里云文档 2026-01-12

调用ListCrawlerTypes接口获取数据地图的元数据采集器类型列表-大数据开发治理平台 DataWorks-阿里云

查询数据地图支持的元数据采集器类型列表，其中包含元数据采集器类型，及给定类型支持的子类型和子类型之间的层级关系信息。

阿里云文档 2025-06-27

同步数据、EMR 如何通过DataWorks同步日志数据至EMR引擎

本文为您介绍如何新建HttpFile和MySQL数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表查询同步后的数据，完成数据同步的操作过程。

阿里云文档 2025-06-27

用户画像分析案例同步用户和日志数据

本教程以MySQL中的用户基本信息ods_user_info_d表和OSS中的网站访问日志数据user_log.txt文件为例，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d_odps、ods_raw_log_d_odps表。旨在介绍如何通过DataWorks数据集成实现异构数据源间的数据同步，完成数仓数据同步操作。

文章 2024-06-10 来自：开发者社区

DataWorks操作报错合集之数据源同步时，使用脚本模式采集mysql数据到odps中，使用querySql方式采集数据，在脚本中删除了Reader中的column，但是datax还是报错OriginalConfPretreatmentUtil - 您的配置有误。如何解决

问题一：DataWorks是什么原因？ DataWorks是什么原因？{"commonInfo":{"regionCode":"cn-shanghai","projectId":398148,"datasourceName":"new_api","resourceGroup":"group_632594213143490","resourceGroupName":"公共资源组"...

阿里云文档 2024-03-15

如何在调度系统中使用EMR Doctor

创建EMR集群时，已默认安装EMR Doctor环境并开通EMR Doctor任务信息采集用于健康度评估，但部分客户端参数配置可能导致任务采集失效。本文为您介绍如何在客户端追加采集参数以保证EMR Doctor任务采集正常工作。

问答 2023-12-23 来自：开发者社区

DataWorks数据源同步时，使用脚本模式采集mysql数据到odps中，什么原因？

DataWorks数据源同步时，使用脚本模式采集mysql数据到odps中，使用querySql方式采集数据，在脚本中删除了Reader中的column，但是datax还是报错OriginalConfPretreatmentUtil - 您的配置有误. 由于您读取数据库表采用了querySql的方式, 所以您不需要再配置 column. 如果您不想看到这条提醒，请移除您源头表中配置中的 colu....

问答 2022-08-29 来自：开发者社区

用datax采集可以用 querysq，如果换成odps不行，是这样吗？

datawork离线任务steptype为oralce，用datax采集可以用 querysq，如果换成odps不行，是这样吗？

文章 2022-08-08 来自：开发者社区

，Python案例篇：某短视频采集（不用等着大数据给你推送了）

前言大家好，我是辣条哥最近几天每天不为别的就是疯狂的刷短视频，不知道你们没有试过，明明来瞌睡了就会想我再刷三个，看到我喜欢的或者我三个都不喜欢我就睡~然后莫名其妙就看到外面天色有点微微发亮了 ~~~ 谁看谁不迷糊于是乎我开始总结了一下，肯定是系统推送有问题不然不至于让我这一顿熬夜，那么这时候我的程序员毛病来了，为啥我不直接采集出来这样就没必要一个一个的去刷了吗？说干就干，边干边记录然后就有了这....

问答 2022-04-15 来自：开发者社区