功能简介
准确性：数据准确性是指数据准确的反映其所建模的“真实世界”的实体。一致性：数据一致性是指确保两个数据集之间或一个数据集内部不同字段间数值或信息的一致。唯一性：数据唯一性是指在一个数据集中，没有重复的记录或信息。时效性：数据...
功能简介
准确性：数据准确性是指数据准确的反映其所建模的“真实世界”的实体。一致性：数据一致性是指确保两个数据集之间或一个数据集内部不同字段间数值或信息的一致。唯一性：数据唯一性是指在一个数据集中，没有重复的记录或信息。时效性：数据...
质量评估
准确性：数据准确性是指数据准确的反映其所建模的“真实世界”的实体。一致性：数据一致性是指确保两个数据集之间或一个数据集内部不同字段间数值或信息的一致。唯一性：数据唯一性是指在一个数据集中，没有重复的记录或信息。时效性：数据...
管理健康报告
Tablet数据大小变异系数 是指同一个分区内的tablet数据大小变异系数，代表了一个表的数据的tablet分布均衡程度。计算方式为：同一个分区内tablet数据大小的标准差除以平均值。一般来说，变异系数越大，这个分区越有可能存在数据倾斜的情况...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
管理缓存
释放数据是指从Alluxio缓存中删除数据，而不是从底层UFS中删除数据。释放操作后，数据仍然可供用户使用，但对Alluxio释放文件后尝试访问该文件的客户端来讲性能可能会降低。语法 alluxio fs free示例：将 tmp 目录中的所有数据从缓存中释放...
数据质量教程概述
完整性 完整性是指数据的记录和信息是否完整、不缺失。数据的缺失包括数据记录的缺失（表行数异常）和记录中某字段信息的缺失（字段出现空值）。在本教程中，您需要重点关注数据的生产环节（MaxCompute外部表引用的表格存储数据）和加工...
数据质量教程概述
完整性 完整性是指数据的记录和信息是否完整、不缺失。数据的缺失包括数据记录的缺失（表行数异常）和记录中某字段信息的缺失（字段出现空值）。在本教程中，您需要重点关注数据的生产环节（MaxCompute外部表引用的表格存储数据）和加工...
计费模式
元数据对象的存储量 元数据对象是指数据湖元数据中存储的数据库、表、分区和索引。计费规则，每月前100万个存储对象免费，超过100万后，超过100万的部分，每10万个对象收费5元/月，不足10万的按10万个收费。计费周期与出账周期，按月统计...
数据模型
数据时效（TTL）数据时效是指数据保存有效期，超过有效期的数据会被自动清理，默认数据有效期为永久保存。场景示例 某风力电厂包含一系列的智能风力发电机设备，创建名为 Wind-generators 的table来存储所有设备的信息，设备由 ID、型号、...
配置TiDB输出组件
是指数据输出前和输出完成的一些特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，...
配置TiDB输出组件
是指数据输出前和输出完成的一些特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，...
常见问题
4.大数据专家服务范围是覆盖阿里云所有大数据产品技术栈吗？答：服务范围仅包含阿里云MaxCompute｜DataWorks｜Hologres｜DataHub｜PAI｜Flink｜EMR｜ES｜ABM产品技术专家服务。阿里云其它产品、非阿里云产品、客户软件问题、基础网络问题、...
关联数据
管理对象组 对象是指数据库中特定表和字段的集合。对象组功能可以帮您管理数据库中表和字段的集合。如果自定义规则需要对固定的数据库对象生效，您可以通过新增对象组，直接在自定义规则中使用新增对象组。以下步骤介绍如何新增对象组。...
立即备份
逻辑备份：逻辑备份是指数据库对象级备份，支持表、库两种维度的备份。库级备份时，针对不同模式的数据库，具体支持的数据库对象如下：MySQL 模式：表、视图、触发器、序列、同义词、类型、包、函数、存储过程。Oracle 模式：表、视图、...
新建租户
OceanBase 数据库 V3.x 和 V4.x 版本的集群实例支持创建 1C4GB 的租户。所有租户 CPU 与内存大小之和不可超过所属集群实例规格；V4.x 版本所有租户的日志盘大小之和不可超过所属集群的日志盘容量。租户的总可使用资源=单节点分配资源量*...
DescribeDBInstanceDataSkew-查看数据倾斜的相关信息
接口说明 数据倾斜会影响数据库的运行速度，AnalyticDB PostgreSQL 版实例提供了 DescribeDBInstanceDataSkew 接口帮助您查看实例的数据倾斜情况，便于您及时消除数据倾斜。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名...
新功能发布记录
2021-12-21 模型查看器 v6.0 DataV发布全新V6.0版本 发布五大新功能 适用用户：数据集及BI映射：企业版及以上用户 区块管理：专业版及以上用户 设计资产：企业版及以上用户 空间构建平台：需线下咨询购买 数据映射系统；BI分析功能帮助用户...
UpsertCollectionData-上传向量数据
上传向量数据到指定的向量集中。接口说明 注意 SDK 于 2023-11-8 日升级，从最大 512KB 数据请求量升级到 10MB。请使用最新版 SDK 或不低于此版本：Java：1.2.1 Go：v3.3.1 Python：3.3.1 调试 您可以在OpenAPI Explorer中直接运行该接口，...
同步 OceanBase 数据库的数据至 DataHub
当 OceanBase 数据库 V4.x 进行增量同步时，如果生成列没有标记 STORED 属性，Tuple 类型的 Topic 写入到目标端为 NULL，而 BLOB 类型的 Topic 目标端不会写入该列。当更新的行包括 LOB 列时：如果 LOB 列为更新列，请勿依赖 LOB 列在 ...
文档修订记录
Check节点 2024.1.12 新增功能 最佳实践 新增DataWorks大数据安全治理实践新增指南，为您介绍数据安全治理的常见思路、DataWorks产品的安全能力，以及在DataWorks上基于“基础防护建设”、“数据安全防护措施”、“数据安全持续运营”三个...
RDS术语
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL ...
本文为您介绍如何使用数据传输迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
使用数据传输迁移数据
您可以通过数据迁移功能实时迁移其他数据源的数据至 OceanBase 数据库，以及迁移 OceanBase 数据库的数据至其他数据源。本文以迁移 MySQL 数据库的数据至 OceanBase 数据库为例，介绍如何使用数据传输迁移数据。前提条件 在迁移数据之前，...
迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库...
数据传输支持 PolarDB-X 1.0 数据库 V5.2.8、V5.4.2、V5.4.9 和 V5.4.12。数据传输支持 PolarDB-X 1.0 数据库下挂载的 RDS MySQL 兼容的 MySQL 数据库 V5.5、V5.6、V5.7 和 V8.0，以及标准 RDS 和 PolarDB MySQL 实例。迁移 PolarDB-X 1.0 ...
Oracle数据源
准备工作4：检查数据库的字符编码 您需要在当前使用的数据库中，执行如下命令检查数据库的字符编码。select*from v$nls_parameters where PARAMETER IN('NLS_CHARACTERSET','NLS_NCHAR_CHARACTERSET');v$nls_parameters 用于存放数据库参数...
RDS术语
A AliPG 阿里云支持一系列兼容PostgreSQL的云数据库服务产品，这些云数据库服务采用统一的数据库内核（简称AliPG），AliPG兼容PostgreSQL开源数据库，于2015年正式商用，支持PostgreSQL主流大版本，已稳定运行多年，支撑了大量阿里巴巴集团...
RDS术语
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
按照SQL ID异步统计全量请求数据
调用GetFullRequestStatResultByInstanceId接口，按照SQL ID异步统计数据库实例SQL洞察结果中的全量请求数据。接口说明 说明 异步调用后不会立即返回完整结果，当返回数据中 isFinish 取值为 false 时，请等待 1s 后重新发起调用，直到 ...
SQL洞察和审计
当您的数据库实例支持企业版 V3时，您可以将DAS企业版 V1或V2的数据迁移至企业版 V3，以获得更加优惠的费用，详情请参见 DAS企业版间数据如何迁移？警告 迁移操作无法终止和回退，请仔细阅读迁移说明。常见问题 Q：SQL洞察 的 全量请求统计...
SQL洞察和审计
当您的数据库实例支持企业版 V3时，您可以将DAS企业版 V1或V2的数据迁移至企业版 V3，以获得更加优惠的费用，详情请参见 DAS企业版间数据如何迁移？警告 迁移操作无法终止和回退，请仔细阅读迁移说明。常见问题 Q：SQL洞察 的 全量请求统计...
RDS术语
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
RDS术语
AliPG 阿里云支持一系列兼容PostgreSQL的云数据库服务产品，这些云数据库服务采用统一的数据库内核（简称AliPG），AliPG兼容PostgreSQL开源数据库，于2015年正式商用，支持PostgreSQL主流大版本，已稳定运行多年，支撑了大量阿里巴巴集团...
同步 OceanBase 数据库的数据至 RocketMQ
注意事项 当 OceanBase 数据库 V4.x 进行增量同步时，如果生成列没有标记 STORED 属性，则同步目标端时该列将同步为 NULL 值，导致下游接收该列数据时不符合预期。当更新的行包括 LOB 列时：如果 LOB 列为更新列，请勿依赖 LOB 列在 UPDATE...
导入结构和数据
背景信息 ODC 支持批量导入数据库对象的结构和数据。通过 ODC 导入任务可以分别导入数据库对象的结构和数据、仅导入数据或者仅导入结构。导入结构和数据：同时导入数据库对象的定义语句及其数据。仅导入数据：仅导入表/视图对象的数据。仅...
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
如果您使用的是 OceanBase 数据库 V4.x，请通过黑屏客户端工具调整以下 sys 租户参数和业务租户参数。调整 sys 租户参数/parallel_servers_target 用于设置每个 Server 上的并行查询排队条件。如果完全为了性能，建议您将该参数调整为大于...
同步 OceanBase 数据库的数据至 Kafka
当 OceanBase 数据库 V4.x 进行增量同步时，如果生成列没有标记 STORED 属性，则同步目标端时该列将同步为 NULL 值，导致下游接收该列数据时不符合预期。当更新的行包括 LOB 列时：如果 LOB 列为更新列，请勿依赖 LOB 列在 UPDATE 或 ...
高维向量相似度搜索（pgvector）
相关概念及实现原理 嵌入 嵌入（embedding）是指将高维数据映射为低维表示的过程。在机器学习和自然语言处理中，嵌入通常用于将离散的符号或对象表示为连续的向量空间中的点。在自然语言处理中，词嵌入（word embedding）是一种常见的技术...
HttpFile数据源
例如：参数start的值为 2024-03-25 17:06:54 本配置项输入 start=2024-03-25%2017:06:54 说明 参数start是指在发起GET请求时，用于指定某个操作起始时间的参数。否 无 requestBody 请求内容。仅在 requestMethod 参数配置为POST或PUT时生效...
离线同步常见问题
（自动生成是指配置cleanup=true执行同步任务）向ES写入数据时，会做一次无用户名的提交，但仍需验证用户名，导致提交失败，因此提交的所有请求数据都被记录，导致审计日志每天都会有很多，如何处理？Elasticsearch writer配置了Settings，...
- 产品推荐
- 这些文档可能帮助您