问答 2024-08-21 来自:开发者社区

DataWorks配置了个datax同步任务,但是同步速度很慢几十kb/s,能帮忙看下吗?

DataWorks配置了个datax同步任务,但是同步速度很慢几十kb/s,能帮忙看下吗?https://di-cn-hangzhou.data.aliyun.com/web/di/instanceLog?id=1329907541&resourceGroup=S_res_group_555908468234305_1713863359035&requestId=Node_None...

问答 2024-08-21 来自:开发者社区

DataWorks数据源连通性测试通过, 数据集成也可以选择到ck里的表,但是datax执行时报错?

DataWorks数据源连通性测试通过, 数据集成也可以选择到ck里的表,但是datax执行时报错:2024-08-12 16:44:57.973 [job-1612720449] ERROR RetryUtil - Exception when calling callable. Exception Msg: DataX无法连接对应的数据库,可能原因是:1) 配置的ip/port/databa....

文章 2024-08-19 来自:开发者社区

DataWorks操作报错合集之如何解决datax同步任务时报错ODPS-0410042:Invalid signature value

问题一:DataWorks公有云的ak 在本地测试怎么也是ODPS-0410042呢? DataWorks公有云的ak 在本地测试怎么也是ODPS-0410042呢? 参考回答: ODPS-0410042:Invalid signature value,如何解决? 需要您检查您输入的AccessKey ID和AccessKey Secret与您...

DataWorks操作报错合集之如何解决datax同步任务时报错ODPS-0410042:Invalid signature value
问答 2024-08-13 来自:开发者社区

dataworks从mongo抽取到odps 只能通过写datax的原生json抽取吗?

dataworks从mongo抽取到odps 只能通过写datax的原生json抽取吗 可以使用像从MySQL抽取的那种方式吗 字段对字段直抽?

问答 2024-07-29 来自:开发者社区

dataworks datax上传大文件,大小超限制了,这个参数能调整吗?

dataworks datax上传大文件,大小超限制了,这个参数能调整吗?

问答 2024-07-29 来自:开发者社区

想通过拿到所有DATAWORKS下集成的DATAX任务,解析这些元数据管理咱们有对应的合适接口吗?

想通过拿到所有DATAWORKS下集成的DATAX任务,拿到同步信息信息配置。解析源数据--》目标数据源,涉及到的库、表、字段、类型信息,想对业务上游DDL变动的时候,能快速定位到对应的DATAX任务,比如有MYSQL-->ODPS 想要拿到所有指定空间下的所有DATAX任务,解析这些元数据管理咱们有对应的合适接口吗?

问答 2024-07-23 来自:开发者社区

开源datax的job如何批量迁到dataworks ?

开源datax的job如何批量迁到dataworks ?

文章 2024-07-17 来自:开发者社区

DataWorks操作报错合集之DataX在执行过程中接收到了意外的信号15,导致进程被终止,该怎么处理

问题一:dataworks连不上部署在ecs里的mysql 这个需要怎么配置呀? dataworks连不上部署在ecs里的mysql 这个需要怎么配置呀?{"commonInfo":{"regionCode":"cn-hangzhou","projectId":91244,"datasourceName":"MYSQL","resourceGroup":"group_43119...

DataWorks操作报错合集之DataX在执行过程中接收到了意外的信号15,导致进程被终止,该怎么处理
文章 2024-07-17 来自:开发者社区

DataWorks产品使用合集之DataX如何进行删除数据的操作

问题一:DataWorks如何处理删除操作? 我现在有一批文章,源端有对文章进行上线和下线的操作,我能够将数仓中分析后的新增和修改数据写入sqlserver、es。但是,我如何处理删除操作,因为目前似乎没有相应的功能来同步删除动作? 参考回答: "数仓是指MaxCompute吗 MaxCompute同步数据到sql server或者es,咨询es是否可...

DataWorks产品使用合集之DataX如何进行删除数据的操作
文章 2024-07-17 来自:开发者社区

DataWorks产品使用合集之是否可以不使用DataWorks进行EMR的调度和DataX数据导入

问题一:DataWorks空间设置为标准模式后,开发环境和生产环境是物理隔离还是逻辑隔离的? DataWorks空间设置为标准模式后,开发环境和生产环境是物理隔离还是逻辑隔离的? 参考回答: 是两个独立odps project 可以理解为物理隔离 关于本问题的更多回答可点击原文查看: https://developer.ali...

DataWorks产品使用合集之是否可以不使用DataWorks进行EMR的调度和DataX数据导入

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

DataWorks

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。作为阿里巴巴数据中台的建设者,DataWorks从2009年起不断沉淀阿里巴巴大数据建设方法论,同时与数万名政务/金融/零售/互联网/能源/制造等客户携手,助力产业数字化升级。

+关注