使用阿里云Flink（流式数据传输）
实时计算Flink版内置插件支持通过批量数据通道写入MaxCompute，受到批量数据通道并发数及存储文件数影响，内置版本插件会有性能瓶颈。MaxCompute提供了使用流式数据通道的Flink插件，支持使用Flink在高并发、高QPS场景下写入MaxCompute。...
Lindorm数据源
DataWorks数据集成支持使用Lindorm Reader和Lindorm Writer插件读取和写入Lindorm双向通道的功能，本文为您介绍DataWorks的Lindorm数据读取与写入能力。使用限制 Lindorm不需要在DataWorks上配置数据源，可直接使用脚本模式配置任务，通过...
PGVector
PGVector是一个高效的向量数据库插件，支持多种向量计算算法和数据类型，同时还能够高效存储与查询以向量表示的AI Embedding。本文档将为您介绍PGVector的背景、原理、使用方法及其他相关信息。背景信息 随着数据科学和机器学习等技术的...
PGVector
PGVector是一个高效的向量数据库插件，支持多种向量计算算法和数据类型，同时还能够高效存储与查询以向量表示的AI Embedding。本文档将为您介绍PGVector的背景、原理、使用方法及其他相关信息。背景信息 随着数据科学和机器学习等技术的...
pg_repack
说明 pg_repack客户端的版本必须匹配pg_repack插件的版本，否则无法使用。上述下载地址只提供最新版的pg_repack客户端，如果pg_repack插件版本落后于客户端工具的版本，则需要升级插件版本。如果插件版本升级后仍然低于客户端版本，则需要...
pg_repack
dry-run$pg_repack-dry-run \-no-superuser-check-echo-no-order \-h 连接串-p 端口-d database1-U user-table schema1.table1-实际执行$pg_repack \-no-superuser-check-echo-no-order \-h 连接串-p 端口-d database1-U user-table schema...
数据查询
Grafana使用Lindorm插件访问 Lindorm时序引擎提供了Grafana的Alibaba Cloud Lindorm数据源插件，该插件使用SQL来访问Lindorm时序数据。您可以使用编辑框自动生成SQL或者自定义SQL的方法查询数据。具体操作，请参见 通过Grafana访问时序引擎...
pg_hint_plan
示例命令如下：/*+NestLoop(t1 t2)MergeJoin(t1 t2 t3)Leading(t1 t2 t3)*/SELECT*FROM table1 t1 JOIN table table2 t2 ON(t1.key=t2.key)JOIN table table3 t3 ON(t2.key=t3.key);说明 其中 NestLoop(t1 t2)：指定表t1和t2的连接方法。...
pg_hint_plan
示例命令如下：/*+NestLoop(t1 t2)MergeJoin(t1 t2 t3)Leading(t1 t2 t3)*/SELECT*FROM table1 t1 JOIN table table2 t2 ON(t1.key=t2.key)JOIN table table3 t3 ON(t2.key=t3.key);说明 其中 NestLoop(t1 t2)：指定表t1和t2的连接方法。...
使用Flink写入数据（Transaction Table2.0）
当前MaxCompute为您提供了新版的Flink Connector插件，新版插件支持将Flink数据写入至MaxCompute的普通表和Transaction Table2.0类型表，提高了Flink数据写入MaxCompute的便捷性。本文为您介绍新版Flink Connector写入MaxCompute的能力支持...
2020年及以前
无 OSS Foreign Table OSS Foreign Table导入导出支持与Redshift兼容的copy和unload命令。无 OSS Foreign Table支持导出功能，可将本地表数据导出到 OSS 上。无 2020年08月25日 类别 功能 功能描述 相关文档 新增 粗糙集过滤 列存支持粗糙...
Maxwell
本文为您介绍Maxwell格式的使用示例、配置选项和类型映射。背景信息 Maxwell 是一个CDC(Changelog Data Capture，变更数据获取）工具，可以把来自MySQL的更改实时流传输到Kafka、Kinesis和其他流连接器中。Maxwell为变更日志提供了统一的...
Canal
本文为您介绍Canal格式的使用示例、配置选项和类型映射。背景信息 Canal 是一个CDC（ChangeLog Data Capture，变更日志数据捕获）工具，可以实时地将MySQL变更传输到其他系统。Canal为变更日志提供了统一的数据格式，并支持使用JSON或 ...
Amazon Redshift数据源
Amazon Redshift Reader脚本Demo与参数说明 Amazon Redshift Reader脚本Demo {"stepType":"redshift""parameter":{"datasource":"redshift_datasource","table":"redshift_table_name","where":"xxx=3","splitPk":"id","column":["id",...
解读RDS PostgreSQL大版本升级检查报告
解决办法 请在高版本中验证jsonbx插件的相关函数使用，根据实际需要进行评估是否删除插件，然后在不影响业务稳定的情况下删除后再升级。jsonbx插件函数使用差异如下：函数用法 PostgreSQL 9.4执行结果 PostgreSQL 10或以上版本执行结果 ...
Debezium
格式,Debezium 本文为您介绍Debezium格式的使用示例、配置选项和类型映射。背景信息 Debezium 是一个CDC（Changelog Data Capture，变更数据捕获）的工具，可以把来自MySQL、PostgreSQL、Oracle、Microsoft SQL Server和许多其他数据库的...
Table Group设置最佳实践
本文为您介绍Hologres中Table Group和Shard Count选定的基本原则、适用场景、设置策略以及常见问题，以助您获取更优的查询性能。实例规格推荐 在实践过程中存在数据量可预估，最适宜的Shard数区间应该设置为多少的问题，由于最适宜Shard数...
使用Hint
说明 仅安装插件的库可以使用Hint功能。支持的Hint 类别 格式 说明 设置语句级GUC参数 Set(GUC-param value)设置优化器阶段的GUC参数。目前GUC参数仅在优化器阶段生效，暂时在其它阶段（例如Rewrite和Execute等阶段）不生效。如需语句级别...
图解MySQL 8.0优化器查询解析篇
对父查询的所有相关数据结构进行重新计算（leaf_table_count，derived_table_count，table_func_count，materialized_derived_table_count，has_sj_nests，has_aj_nests，partitioned_table_count，cond_count，between_count，select_n_...
模糊查询（pg_bigm）
pages|tuples-+-0|0(1 row)插件行为控制 pg_bigm.last_update 该插件的最后更新日期，只读参数，无法修改。示例如下：SHOW pg_bigm.last_update;pg_bigm.enable_recheck 决定是否进行recheck。说明 建议您保持默认值（ON）以保证结果正确性...
Logtail发布历史
使用插件处理数据时也支持输出内容在文件内偏移量。默认支持采集容器标准输出时，保持连续的上下文。Prometheus数据接入内存优化。问题修复 修复Docker环境下潜在的FD泄露和事件遗漏问题。修复Logtail采集配置更新时文件句柄泄露的问题。...
smlar
注意事项 由于smlar插件的%操作符与RUM插件的%操作符冲突，因此smlar与RUM两个插件无法同时创建在同一个schema中。简介 smlar是 PolarDB PostgreSQL版（兼容Oracle）的一款开源第三方插件，提供了可以在数据库内高效计算数据相似度的函数，...
smlar
注意事项 由于smlar插件的%操作符与RUM插件的%操作符冲突，因此smlar与RUM两个插件无法同时创建在同一个schema中。简介 smlar是 PolarDB PostgreSQL版（兼容Oracle）的一款开源第三方插件，提供了可以在数据库内高效计算数据相似度的函数，...
Vertica数据源
附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线...
DDL逻辑复制
CREATE TABLE ALTER TABLE DROP TABLE CREATE TABLE AS all：表示复制所有的DDL语句，目前支持的DDL语句如下：ALTER INDEX ALTER SEQUENCE ALTER TABLE ALTER TYPE CREATE INDEX CREATE SCHEMA CREATE SEQUENCE CREATE TABLE CREATE TABLE ...
Limit Offset下推
而对于SQL层无条件过滤的场景（包含SQL层谓词完全下推到引擎层），Limit操作处理OffSet的数据不需要经过任何计算就会被过滤掉，引擎层与SQL层的交互和回表的代价会导致分页查询随着分页数增加而越来越慢。PolarDB MySQL版 会把Limit Offset...
通过PrestoDB使用Tablestore
使用PrestoDB对接表格存储Tablestore后，基于PrestoDB on Tablestore您可以使用SQL查询与分析Tablestore中的数据、写入数据到Tablestore以及导入数据到Tablestore。背景信息 PrestoDB是基于MPP架构的开源大数据分布式SQL查询引擎，支持对接...
GBase8a数据源
使用限制 目前Gbase8a Reader和Gbase8a Writer仅支持使用 新增和使用独享数据集成资源组。insert into.：当主键或唯一性索引冲突时，无法写入冲突的行。目的表所在数据库必须是主库才能写入数据。说明 整个任务需要至少具备 insert into.的...
OGG插件介绍
二、支持数据库版本 数据库 支持版本 插件版本 Oracle 11g~19c 2.0.2~2.0.8 MySQL 企业版/社区版 2.0.3~2.0.8 三、使用场景 这里以Oracle数据为例，展示一个简单的示例来说明数据的使用方法，例如我们在数据库有一张商品订单表orders（oid ...
基本概念
从图中可以看出Table Group和Shard不仅与数据的存储分布有关系，还与计算Worker有一定的关系：当创建Table Group并设置Shard数后（如果没有显式设置Table Group和Shard数，那么Hologres会在创建数据库时创建一个默认Table Group并为其设置...
使用pg_pathman插件
本文介绍pg_pathman插件的一些常见用法。背景信息 为了提高分区表的性能，PolarDB PostgreSQL版（兼容Oracle）引入了pg_pathman插件。该插件一款分区管理插件，提供了分区优化机制。创建pg_pathman插件扩展 test=create extension pg_...
使用pg_pathman插件
本文介绍pg_pathman插件的一些常见用法。背景信息 为了提高分区表的性能，PolarDB PostgreSQL版 引入了pg_pathman插件。该插件一款分区管理插件，提供了分区优化机制。创建pg_pathman插件扩展 test=create extension pg_pathman;CREATE ...
Confluent Avro
本文为您介绍Confluent Avro格式的使用方法、配置选项和类型映射。背景信息 Confluent Avro格式允许读取被io.confluent.kafka.serializers.KafkaAvroSerializer序列化的记录，以及写入能被io.confluent.kafka.serializers....
基本概念
当您的作品或者图表需要新增一个菜单实现自定义的功能时，您可以使用自定义菜单。本文为您介绍 Quick BI 自定义菜单的基础概念。1.自定义菜单 在 Quick BI 中,自定义菜单(CustomMenu)是一个包含了 bootstrap，mount，unmount，update 属性...
SQL Server数据源
当配置此项后，数据同步系统就会忽略tables、columns配置项，直接使用这项配置的内容对数据进行筛选，例如需要进行多表join后同步数据，使用 select a,b from table_a join table_b on table_a.id=table_b.id。当您配置querySql时，SQL ...
使用Kafka Connect将MySQL数据同步至云消息队列 Kafka...
本教程介绍如何使用Kafka Connect的Source Connector将MySQL的数据同步至 云消息队列 Kafka 版。背景信息 Kafka Connect主要用于将数据流输入和输出 云消息队列 Kafka 版。Kafka Connect主要通过各种Source Connector的实现，将数据从第三...
Hologres SQL语句的常见问题
报错：Creating publication with table that without binlog is not supported now 报错：bigint out of range 报错：too many shards in this instance 报错：Feature not supported:insert into parent table 报错：timestamp out of ...
消息队列Kafka
本文为您介绍如何使用消息队列Kafka连接器。背景信息 Apache Kafka是一款开源的分布式消息队列系统，广泛用于高性能数据处理、流式分析、数据集成等大数据领域。Kafka连接器基于开源Apache Kafka客户端，为阿里云实时计算Flink提供高性能的...
RDS数据源配置
在该界面中的内容转换，可以添加数据源插件，插件的使用及说明文档，请 数据源插件说明。5.配置RDS数据源过滤条件。OpenSearch应用表中也可配置多个数据源，但最终这些表结构及配置必须完全相同。RDS数据源配置的过滤条件只能拉取符合该...
MariaDB数据源
如果您的表数字后缀的长度一致，例如 'table_000'、'table_001'、'table_002' 直到 'table_999'，您可以配置为 '"table":["table_00[0-9]","table_0[10-99]","table_[100-999]"]'。说明 任务会读取匹配到的所有表，具体读取这些表中 column...
- 产品推荐
- 这些文档可能帮助您