阿里云文档 2025-04-02

通过DataX将表格存储数据导出到CSV文件

本文介绍如何使用DataX工具将表格存储中的数据导出至本地CSV文件,表格存储中的数据表或时序表均可作为源表进行导出操作。

阿里云文档 2025-02-28

使用数据集成服务迁移数据到表格存储

当您的现有业务对数据库的并发读写、扩展性和可用性的要求较高,且需要使用复杂的检索或大数据分析时,如果原有数据库的数据架构不能满足现在的业务需求或改造成本较大,则您可以通过DataWorks数据集成服务将现有数据库中的数据迁移到Tablestore表中存储和使用。您还可以通过DataWorks数据集成服务实现表格存储表中数据的跨实例或者跨账号迁移以及将表格存储数据迁移到OSS或者MaxCompute...

阿里云文档 2025-02-21

DataWorks 数据集成实时 ETL 支持数据过滤组件使用

DataWorks数据集成实时ETL支持数据过滤组件使用,可以在来源与去向组件间新增数据过滤组件按配置的过滤规则,按字段对数据进行过滤。

阿里云文档 2024-12-04

如何通过DataWorks数据集成同步异构数据源间的数据

本教程以MySQL中的用户基本信息(ods_user_info_d)表及OSS中的网站访问日志数据(user_log.txt)文件,通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例,为您介绍如何通过DataWorks数据集成实现异构数据源间的数据同步,完成数仓数据同步操作。

阿里云文档 2024-06-27

如何通过数据集成将MongoDB的数据离线同步至MaxCompute

DataWorks的数据集成为您提供MongoDB Reader插件,可从MongoDB中读取数据,并将数据同步至其他数据源。本文以一个具体的示例,为您演示如何通过数据集成将MongoDB的数据离线同步至MaxCompute。

文章 2023-08-04 来自:开发者社区

5、DataX(DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL)(二)

2、配置文件说明(1)Reader参数说明3、提交任务(1)清空历史数据hadoop fs -rm -r -f /base_province/*(2)进入DataX根目录(3)执行如下命令python bin/datax.py job/base_province.json4、查看结果(1)DataX打印日志(2)查看HDFS文件hadoop fs -cat /base_province/* | ....

5、DataX(DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL)(二)
文章 2023-08-04 来自:开发者社区

5、DataX(DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL)(一)

1、DataX简介1.1 DataX概述DataX 是阿里巴巴开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 源码地址:https://github.com/alibaba/DataX1.2 DataX支持的数据源DataX目前已经有了比较全面的插件体系,主流....

5、DataX(DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL)(一)
文章 2022-02-17 来自:开发者社区

DATAX工具同步数据从hdfs到drds性能优化

问题描述 在客户现场运维过程中,使用datax同步数据从hdfs到drds速度极其缓慢,因此希望进行datax的json文件进行优化,提升速度,同步缓慢及报错如下; 问题分析 对于datax的使用问题,第一要素就要检查json文件的问题; 从同步的datax的日志及报错的tddl-4603来看,json文件是可以使用的,只是使用的参数设置有问题导致了4603的报错,也就是出现了跨库事务的存在;d....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

DataWorks

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。作为阿里巴巴数据中台的建设者,DataWorks从2009年起不断沉淀阿里巴巴大数据建设方法论,同时与数万名政务/金融/零售/互联网/能源/制造等客户携手,助力产业数字化升级。

+关注