支持的数据源与读写插件

OSS OSS Reader OSS Writer OTSStream OTSStream Reader 不支持 PolarDB PolarDB Reader PolarDB Writer PostgreSQL PostgreSQL Reader PostgreSQL Writer Prometheus 说明 目前该数据源仅支持新增和使用独享数据集成资源组。Prometheus ...

SQL

o.execute_sql('desc table_name').open_reader()as reader:print(reader.raw) 如果options.tunnel.use_instance_tunnel= True,在使用open_reader方法时,PyODPS会默认调用Instance Tunnel。如果您使用了较低版本的MaxCompute服务,或者...

DB2 Reader

本文为您介绍DB2 Reader支持的数据类型、字段映射和数据源等参数及配置示例。注意 DB2 Reader仅支持使用新增和使用独享数据集成资源组,不支持使用使用公共资源组和自定义资源组。背景信息 DB2 Reader插件实现了从DB2读取数据。在底层实现...

SQL Server Reader

本文为您介绍SQL Server Reader支持的数据类型、字段映射和数据源等参数及配置示例。SQL Server Reader插件从SQL Server读取数据。在底层实现上,SQL Server Reader通过JDBC连接远程SQL Server数据库,并执行相应的SQL语句,从SQL Server库...

ApsaraDB For OceanBase Reader

Reader的实现原理、参数说明及配置示例。注意 目前ApsaraDB For OceanBase Reader仅支持使用新增和使用独享数据集成资源组,不支持使用默认资源组和自定义资源组。背景信息 ApsaraDB For OceanBase在金融行业创造了三地五中心的城市级故障...

Cassandra Reader

Cassandra Reader插件用于从Cassandra读取数据。本文为您介绍Cassandra Reader支持的数据类型、数据源参数、脚本模式配置、与DataX的类型转换。背景信息 Cassandra Reader通过DataStax的Java Driver连接至Cassandra实例,并根据用户配置的...

Oracle Reader

本文为您介绍Oracle Reader支持的数据类型、字段映射和数据源等参数及配置示例。Oracle Reader插件实现了从Oracle读取数据。在底层实现上,Oracle Reader通过JDBC连接远程Oracle数据库,并执行相应的SQL语句,从Oracle数据库中选取数据。...

Gbase8a Reader

本文为您介绍Gbase8a Reader支持的数据类型、字段映射和数据源等参数及配置示例。背景信息 Gbase8a是一款基于列存储的新型分析型数据库,Gbase8a Reader插件实现了从Gbase8a读取数据的功能。注意 目前Gbase8a Reader仅支持使用新增和使用独...

PostgreSQL Reader

本文为您介绍PostgreSQL Reader支持的数据类型、读取方式、字段映射和数据源等参数及配置示例。背景信息 PostgreSQL Reader插件从PostgreSQL读取数据。在底层实现上,PostgreSQL Reader通过JDBC连接远程PostgreSQL数据库,并执行相应的SQL...

DM Reader

本文为您介绍DM Reader支持的数据类型、字段映射和数据源等参数及配置示例。注意 DM Reader仅支持使用新增和使用独享数据集成资源组,不支持使用默认资源组和自定义资源组。背景信息 DM Reader插件从DM读取数据。在底层实现上,DM Reader...

DRDS Reader

DRDS Reader插件实现了从DRDS(分布式RDS)读取数据。本文为您介绍DRDS Reader支持的数据类型、字段映射和数据源等参数及配置示例。背景信息 目前DRDS的插件仅适配MySQL引擎的场景。DRDS是一套分布式MySQL数据库,并且大部分通信协议遵守...

订阅Alibaba Cloud Linux 2安全漏洞(CVE)公告

Reader插件 如果您的Google Chrome浏览器未安装RSS Feed Reader插件,需要先安装插件。在本地物理主机中打开Google Chrome浏览器。在顶部书签栏,单击应用,然后单击Chrome 网上应用店。在chrome 网上应用店页面的左上角,单击搜索栏并输入...

Hologres Reader

Hologres Reader实现了从交互式分析(Hologres) 数仓导出数据的功能,您可以根据数据集成标准协议从Hologres表中导出数据至其它数据源。背景信息 注意 Hologres Reader仅支持使用新增和使用独享数据集成资源组,不支持使用使用公共资源组...

Stream Reader

本文为您介绍Stream Reader支持的数据类型、字段映射和数据源等参数及配置示例。Stream Reader插件实现了从内存中自动产生数据的功能,主要用于数据同步的性能测试和基本的功能测试。Stream Reader支持的数据类型,如下所示。数据类型 类型...

InfluxDB Reader

Reader插件实现了从InfluxDB读取数据。注意 InfluxDB Reader仅支持使用新增和使用独享数据集成资源组,不支持使用默认资源组和自定义资源组。InfluxDB Reader仅支持脚本模式配置,更多详情请参见InfluxDB。实现原理 在底层实现上,InfluxDB...

Vertica Reader

Vertica是一款基于列存储的MPP架构的数据库,Vertica Reader插件实现了从Vertica读取数据的功能。本文为您介绍Vertica Reader的实现原理、参数和示例。注意 Vertica Reader仅支持使用新增和使用独享数据集成资源组,不支持使用默认资源组和...

Prometheus Reader

Reader插件实现了从Prometheus读取数据。注意 Prometheus Reader仅支持使用新增和使用独享数据集成资源组,不支持使用默认资源组和自定义资源组。Prometheus Reader仅支持脚本模式配置方式。实现原理 在底层实现上,Prometheus Reader通过...

DTS-1050010:DTS连接MySQL数据库MySQL日志Reader解析...

问题描述 DTS连接MySQL数据库,MySQL日志Reader解析字段提示错误如下。DTS-1050010 column db_name.table_name.column_name binlog parse error,at offset filename@offset. 说明:DTS报错code为“DTS-1050010”,DTS的报错语句格式为“DTS...

ClickHouse Reader

本文为您介绍ClickHouse Reader支持的数据类型、字段映射和数据源等参数及配置示例。ClickHouse Reader插件实现了从ClickHouse读取数据。在底层实现上,ClickHouse Reader通过JDBC连接远程ClickHouse数据库,并执行相应的SQL语句,从...

HDFS Reader

HDFS Reader提供了读取分布式文件系统数据存储的能力。在底层实现上,HDFS Reader获取分布式文件系统上文件的数据,并转换为数据集成传输协议传递给Writer。注意 HDFS Reader仅支持使用新增和使用独享数据集成资源组,不支持使用使用公共...

FTP Reader

本文为您介绍FTP Reader支持的数据类型、字段映射和数据源等参数及配置示例。背景信息 FTP Reader为您提供读取远程FTP文件系统数据存储的功能。在底层实现上,FTP Reader获取远程FTP文件数据,并转换为数据同步传输协议传递给Writer。本地...

DTS-1051004:MySQL日志Reader日志内容校验失败

问题描述 DTS的MySQL日志显示Reader日志内容校验失败,具体错误信息如下所示。DTS-1051004 BEGIN and COMMIT middle have any other evetns,Please vaild binlog file.&问题原因 MySQL日志BEGIN和COMMIT中间没有有效的DML操作,如果源库...

HBase Reader

HBase Reader插件实现了从HBase中读取数据,本文为您介绍HBase Reader支持的数据类型、字段映射和数据源等参数及配置示例。在底层实现上,HBase Reader通过HBase的Java客户端连接远程HBase服务,并通过Scan方式读取您指定的rowkey范围内的...

TSDB Reader

TSDB Reader插件实现了从TSDB读取数据的功能,本文为您介绍TSDB Reader支持的数据类型、字段映射和数据源等参数及配置示例。注意 TSDB Reader仅支持使用新增和使用独享数据集成资源组,不支持使用公共资源组和自定义资源组。背景信息 时序...

S3 Reader

S3 Reader插件用于从S3数据库读取数据。本文为您介绍S3 Reader支持的数据类型、字段映射和数据源等参数及配置示例。S3 Reader插件用于从S3读取数据。在底层实现上,S3 Reader使用Amazon官网提供的Java SDK获取S3数据,并转换为数据同步传输...

使用MaxCompute访问

从文件引擎同步数据时,需要配置HDFS Reader,详情请参见配置HDFS Reader。在配置HDFS Writer和HDFS Reader时,需要指定数据源,数据源配置详见:配置HDFS数据源,目前该数据源仅支持独享数据集成资源组,所以在配置之前需要先配置独享数据...

DTS报MySQL日志Reader数据字典表信息不存在的错误

问题描述 DTS报MySQL日志Reader数据字典表信息不存在的错误,具体错误如下所示。其中db_name.table_name为对应表信息不存在的表名称。DTS-1050008 MySQL local table db_name.table_name meta not found&问题原因 DTS的DDL解析失败导致数据...

Table Store(OTS)Reader

本文为您介绍OTS Reader支持的数据类型、读取方式、字段映射和数据源等参数及配置示例。OTS Reader插件实现了从Table Store(OTS)读取数据,通过您指定的抽取数据范围,可以方便地实现数据增量抽取的需求。目前支持以下三种抽取方式:全表...

MetaQ Reader

本文为您介绍MetaQ Reader支持的数据类型、字段映射和数据源等参数及配置示例。注意 MetaQ Reader仅支持使用新增和使用独享数据集成资源组,不支持使用使用公共资源组和自定义资源组。背景信息 消息队列Message Queue(简称MQ)是阿里巴巴...

AnalyticDB for PostgreSQL Reader

本文为您介绍AnalyticDB for PostgreSQL Reader支持的数据类型、读取方式、字段映射和数据源等参数及配置示例。AnalyticDB for PostgreSQL Reader插件从AnalyticDB for PostgreSQL读取数据。在底层实现上,AnalyticDB for PostgreSQL ...

PolarDB Reader

本文为您介绍PolarDB Reader支持的数据类型、字段映射和数据源等参数及配置示例。PolarDB Reader插件通过JDBC连接器连接至远程的PolarDB数据库,根据您配置的信息生成查询SQL语句,发送至远程PolarDB数据库,执行该SQL语句并返回结果。然后...

HybridDB for MySQL Reader

本文为您介绍HybridDB for MySQL Reader支持的数据类型、字段映射和数据源等参数及配置示例。HybridDB for MySQL Reader插件支持读取表和视图。表字段可以依序指定全部列、部分列、调整列顺序、指定常量字段和配置HybridDB for MySQL的函数...

Hive Reader

Hive Reader插件实现了从Hive读取数据的功能,本文为您介绍Hive Reader的工作原理、参数和示例。背景信息 Hive是基于Hadoop的数据仓库工具,用于解决海量结构化日志的数据统计。Hive可以将结构化的数据文件映射为一张表,并提供SQL查询功能...

OpenTSDB Reader

OpenTSDB是主要由Yahoo维护、可扩展、分布式的时序数据库,OpenTSDB Reader插件实现了从OpenTSDB读取数据。OpenTSDB与阿里巴巴自研TSDB的关系与区别,请参见相比OpenTSDB优势。目前OpenTSDB Reader仅支持脚本模式配置方式。实现原理 在底层...

KingbaseES Reader

Reader支持的数据类型、字段映射和数据源等参数及配置示例,在创建数据集成任务节点前,您可参考本文了解数据集成过程中对数据源进行数据抽取所需的参数及支持的数据类型。背景信息 KingbaseES Reader插件通过JDBC连接器连接至远程的...

在DataWorks上使用PyODPS

您也可以通过在open_reader上添加tunnel=True,实现仅对本次open_reader开启instance tunnel。同时,您还可以添加 limit=False,实现仅对本次关闭limit限制。with instance.open_reader(tunnel=True, limit=False)as reader:#本次open_...

SAP HANA Reader

Reader支持的数据类型、字段映射和数据源等参数及配置示例,在创建数据集成任务节点前,您可参考本文了解数据集成过程中对数据源进行数据抽取所需的参数及支持的数据类型。背景信息 SAP HANA Reader插件通过JDBC连接器连接至远程的SAP HANA...

从 Prometheus 到 TSDB 的数据迁移

下载Prometheus Reader插件步骤三:利用 DataX 自带的迁移任务,检查迁移流程能否走通 这里,我们先以最简单的 Stream Reader 到 Stream Writer 为例。因为这两个插件不依赖任何的外部环境,特别适合用来测试流程是否能走通。简单介绍下这...

MySQL Reader

本文为您介绍MySQL Reader支持的数据类型、字段映射和数据源等参数及配置示例。前提条件 开始配置MySQL Reader插件前,请首先配置好数据源,详情请参见配置MySQL数据源。背景信息 MySQL Reader插件通过JDBC连接器连接至远程的MySQL数据库,...

MongoDB Reader

本文为您介绍MongoDB Reader支持的数据类型、字段映射和数据源等参数及配置示例。MongoDB Reader插件通过MongoDB的Java客户端MongoClient,进行MongoDB的读操作。最新版本的Mongo已经将DB锁的粒度,从DB级别降低至document级别,配合...
< 1 2 3 4 ... 28 >
跳转至: GO
产品推荐
安骑士 云服务器 SSL证书 物联网无线连接服务 商标 短信服务 对象存储 块存储
这些文档可能帮助您
什么是Web应用防火墙 访问控制-AssumeRole 提交证书申请 什么是STS DDoS攻击介绍 申请免费DV试用证书

新品推荐

你可能感兴趣

热门推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折