DataX抽取hbase数据到数据中台报错Code:[HbaseReader-06]

Hbase Reader上的hbaseConfig 已经配置了zk的信息,数据源测试连通性也是成功的。 求大神帮忙看看问题。下面是报错日志: 2020-08-24 18:33:41.971 [job-7403126] ERROR JobContainer - Exception when job r...

请问使用dataX怎么从mysql导数据到redis?

请问使用dataX怎么从mysql导数据到redis? json文件应该如何编写

datax 同步 oracle 数据卡在 reader 阶段

###因为在做数据 ETL ,公司选择了 AZKABAN3.5 协同 datax 做调度工具 ####问题描述 目前是从 oracle 至 oracle ,一张 A 表5个字段,60多条记录,我读取到56条正常,多于57条就一直在查询等待,速率一直是0(查看过数据正常,同时尝试了多张表发现都有这个问...

使用datax抽取数据时报错任务hung住

使用datax抽取数据时报错任务hung住,提示如下,任务执行时指定运行内存为4G,能大概理解是任务终止了,但是不知道原因和怎么处理

DataLakeAnalysis: 使用DataX同步Kafka数据到OSS进行分析

平常业务开发中我们经常有流式数据保存在Kafka里面,这部分数据很多场景也是需要分析的,今天给大家介绍下如果使用DataX把数据从Kafka同步到OSS,保存成对分析友好的Parquet格式,然后利用DLA进行分析的全流程。为了后续叙述的方便,我们假设Kafka里面保存的是订单的数据,它包含如下字段...

使用datax迁移cassandra数据

使用datax迁移cassandra数据

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现各种异构数据源之间高效的数据同步功能。最近,阿里云cassandra团队为datax提供了cassandra读写插件,进一步丰富了datax支持的数据源,可以很方便实现cassandra之间以及cassandra与其他数据源之间的数...

datax怎么实现多张表抽取数据

datax怎么实现多张表抽取数据 本问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。 点击这里欢迎加入感兴趣的技术领域群。

数据迁移工具DataX部署与使用

概述 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。阿...

使用DataX同步MaxCompute数据到TableStore(原OTS)优化指南

概述 现在越来越多的技术架构下会组合使用MaxCompute和TableStore,用MaxCompute作大数据分析,计算的结果会导出到TableStore提供在线访问。MaxCompute提供海量数据计算的能力,而TableStore提供海量数据高并发低延迟读写的能力。 将 MaxCompute...

通过DataWorks数据集成归档日志服务数据至MaxCompute进行离线分析

通过DataWorks归档日志服务数据至MaxCompute 官方指导文档:https://help.aliyun.com/document_detail/68322.html但是会遇到大家在分区上或者DataWorks调度参数配置问题,具体拿到真实的case模拟如下: 创建数据源: 步骤1&nbs...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

社区圈子

DataWorks
DataWorks
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。作为阿里巴巴数据中台的建设者,DataWorks从2009年起不断沉淀阿里巴巴大数据建设方法论,同时与数万名政务/金融/零售/互联网/能源/制造等客户携手,助力产业数字化升级。
2701+人已加入
加入
相关电子书
更多
基于 Flink CDC 打造 企业级实时数据集成方案
全链路数据治理-全域数据集成
Flink CDC:新一代数据集成框架
立即下载 立即下载 立即下载