模式
在不受信任的用户已经登录的数据库中采用此模式后，请考虑审计名字类似于模式 pg_catalog 中的对象的公共模式。此方式是一种安全模式的使用方式，除非不受信任的用户是数据库所有者或拥有 CREATEROLE 权限，在这种情况下没有安全模式使用...
云数据库MongoDB版迁移至云原生多模数据库Lindorm
若您需要同时使用新增列和ETL功能，请确保Lindorm中的数据不会重复。不保留事务信息，即源库中的事务迁移到目标库时会转变为单条的记录。执行数据迁移前需评估源库和目标库的性能，同时建议在业务低峰期执行数据迁移。否则全量数据迁移时...
云数据库MongoDB版同步至云原生多模数据库Lindorm
若您需要同时使用新增列和ETL功能，请确保Lindorm中的数据不会重复。不保留事务信息，即源库中的事务同步到目标库时会转变为单条的记录。执行数据同步前需评估源库和目标库的性能，同时建议在业务低峰期执行数据同步。否则全量数据同步时...
文档修订记录
QueryPublicModelEngine 2023.10.20 新增功能 上传与下载 DataWorks的上传与下载模块，提供了便捷的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作，致力于为您...
应用场景
由于缓存中的数据不能持久化，一旦缓存异常退出，那么内存中的数据将会丢失。DTS提供的数据订阅功能，可以帮助您异步订阅数据库的增量数据，并更新缓存的数据，实现轻量级的缓存更新策略。该架构具有以下优势：更新路径短，延迟低 业务完成...
第三方认证文件管理
背景信息 第三方认证机制用于用户和服务的强身份验证，通过该机制，可以有效地避免不受信任的程序或服务来获取数据访问权限，提高数据同步过程中访问数据资源的安全性。DataWorks的认证文件管理功能，可以为您提供统一入口来管理认证文件，...
在GDB控制台清除实例数据
当图数据库GDB实例中的数据不再使用但需要保留该实例时，您可以通过图数据库GDB提供的清除数据功能清除实例中的数据。本文介绍在图数据库GDB控制台上清除图数据库GDB实例数据的方法。注意事项 清除实例数据后仅保留实例账号信息，且清除的...
补数据任务概述
帮助您对数据中缺失、错误、重复或不完整的数据进行补全、修正。调度类型说明 Dataphin补数据任务支持两种调度类型：定时调度和手动运行。定时调度：是指可以在预设的时间点自动运行的补数据任务，可以按照 日、周、月 进行调度。适用于...
补数据任务概述
帮助您对数据中缺失、错误、重复或不完整的数据进行补全、修正。调度类型说明 Dataphin补数据任务支持两种调度类型：定时调度和手动运行。定时调度：是指可以在预设的时间点自动运行的补数据任务，可以按照 日、周、月 进行调度。适用于...
规则概述
过滤规则的功能是根据某些特定的条件过滤一些信任的操作，系统对这些操作不审计，从而节省设备的磁盘空间，将有限的资源用来存储更有价值的审计数据。信任规则 需要审计某类数据库操作，但无需上报告警。您可以为此类数据库操作定义信任...
SELECT
SELECT&WHERE clause SELECT DISTINCT 在查询结果中去除重复的行数据。SELECT DISTINCT Group Aggregation 根据聚合规则对多条记录进行聚合计算后输出。Group Aggregation Joins 关联两张表进行数据关联查询。Joins ORDER BY 将返回结果...
写入与查询
原因为AES_ENCRYPT(NCRYPT(varbinary x,varchar y)语句中x的数据类型需为 varbinary。SQL示例如下。SELECT CONVERT(AES_DECRYPT(AES_ENCRYPT(CAST('ABC123' AS VARBINARY),'key_string'),'key_string'),char(10));为什么会发生查询结果跳变...
配置过滤规则
按SQL模板过滤：提供内置的可信任的SQL模板，数据库审计系统不审计已启用的可信任模板中的SQL请求。按规则过滤：支持自定义可信任的访问源需要满足的规则，支持设置客户端信息、服务端信息、SQL请求和SQL结果等。数据库审计系统不审计满足...
配置信任规则
数据库名（SID）不涉及 服务端的数据库名。Oracle数据库输入SID，其他数据库输入数据库名称。支持填写多个值，多个值之间以半角逗号（,）分隔。行为 对象组 不涉及 SQL语句所属的对象组。支持 包含任一对象则满足、包含所有对象才满足。...
拓展组件
查看当前对象的数据绑定结果。变量绑定 单击 变量编辑器，打开变量编辑面板。单击 新增行，增加需要添加的变量名称、变量类型和变量值。确认无误后，单击 保存。查看当前对象的变量绑定结果。脚本 输入脚本内容或挂载脚本资源包，打开 是否...
RDS PostgreSQL迁移至RDS MySQL
当目标实例为RDS MySQL时，DTS会自动在RDS MySQL中创建数据库，如果待迁移的数据库名称不符合RDS MySQL的定义规范，您需要在配置迁移任务之前在RDS MySQL中创建数据库。相关操作，请参见 创建数据库。费用说明 迁移类型 链路配置费用 公网...
RDS PostgreSQL间的数据迁移
如仅执行全量数据迁移，请勿向源库中写入新的数据，否则会导致源和目标数据不一致。为实时保持数据一致性，建议选择结构迁移、全量数据迁移和增量数据迁移。若源库有长事务，且实例包含增量迁移任务，则可能会导致源库长事务提交前的预写...
使用DTS迁移实例
如仅执行全量数据迁移，请勿向源库中写入新的数据，否则会导致源和目标数据不一致。为实时保持数据一致性，建议选择结构迁移、全量数据迁移和增量数据迁移。若源库有长事务，且实例包含增量迁移任务，则可能会导致源库长事务提交前的预写...
迁移时源库为PostgreSQL的注意事项及限制
如仅执行全量数据迁移，请勿向源库中写入新的数据，否则会导致源和目标数据不一致。为实时保持数据一致性，建议选择结构迁移、全量数据迁移和增量数据迁移。若源库有长事务，且实例包含增量迁移任务，则可能会导致源库长事务提交前的预写...
常见问题
由于ADB中不允许数据库名、表名或者列名中含有划线（-），为保证数据同步成功，系统会将中划线（-）映射为下划线（_）。如果在数据同步过程中遇到其他因数据库名、表名或者列名造成的同步失败（例如表名中含有空格、中文等），可以向ADB提...
安全性
此外，如果不受信任的用户可以创建表，则只使用显式列出表的发布。也就是说，只有当超级用户信任允许在发布者或订阅者上创建非临时表的所有用户时，才创建 FOR ALL TABLES 的订阅。用于复制连接的角色必须具有 REPLICATION 属性（或者是...
ALTER DATABASE
在非默认表空间中的表和索引不受影响。剩下的形式更改用于一个数据库的运行时配置变量的会话默认值。接下来只要一个新的会话在该数据库中开始，指定的值就会成为该会话的默认值。只有数据库拥有者或超级用户可以更改一个数据库的会话默认值...
数据页面管理
我的数据分组 在 我的数据分组 页面中，您可以对不同的数据类型分成不同的组。您可以实现如下多个功能：功能 说明 新增分组 单击 我的数据分组 列表右侧的，在弹出的 新建分组 对话框中，自定义输入分组名称后单击 OK 即可新增一个数据分组...
数据页面管理
我的数据分组 在 我的数据分组 页面中，您可以对不同的数据类型分成不同的组。您可以实现如下多个功能：功能 说明 新增分组 单击 我的数据分组 列表右侧的，在弹出的 新建分组 对话框中，自定义输入分组名称后单击 OK 即可新增一个数据分组...
账号权限
说明 plpgsql是受信任的语言，除此之外的语言均属于不受信任的语言，无法执行。用户组权限介绍 云原生数据库 PolarDB PostgreSQL版 是在PostgreSQL数据库的基础上构建的，沿用了PostgreSQL数据库的某些群组权限。以下内容将详细介绍这些群...
云产品集成
您可以使用 DataWorks 添加 ApsaraDB For OceanBase 数据源，管理 OceanBase 数据库中的数据，通过数据集成功能，实现在复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。在 DataWorks 添加 ApsaraDB For OceanBase ...
添加数据集
DataV数据集支持多种数据源的接入，如数据库、excel表格文件等，通过对数据的结构化存储和元数据的汇集整理，提供高效实用的数据建模能力，可用的算子包括常见的数据聚合函数、按不同时间粒度划分、地理信息处理等。本文为您介绍如何在...
概述
参见 入湖模板 章节，创建数据湖模板，定期将数据源中的数据抽取到数据湖。参见 元数据管理 章节，定义数据湖的元数据库和表。控制台概览 控制台概览分为2个部分，左侧为主要功能区，右侧为产品主要信息，帮助用户快速上手产品。注册数据湖...
账号权限
说明 plsql是受信任的语言，除此之外的语言均属于不受信任的语言，无法执行。用户组权限介绍 云原生数据库 PolarDB PostgreSQL版（兼容Oracle）是在PostgreSQL数据库的基础上构建的，沿用了PostgreSQL数据库的某些群组权限。以下内容将详细...
管理敏感数据
说明 开通敏感数据管理功能后，即可查看当前实例中的数据库相关信息和数据库中敏感字段的扫描结果。根据扫描出来的信息，您可以单击 前往DMS使用敏感数据保护 前往DMS数据管理服务控制台对敏感数据执行管控操作。更多信息，请参见 管理敏感...
快速体验
使用DataWorks的 数据开发 功能，将同步到MaxCompute中的数据进行清洗加工，并将结果数据写入MaxCompute表中。说明 RDS MySQL作为本次实验中存储原始数据的数据源。您无需自行准备RDS MySQL云产品及数据，本实验为您提供公共的实验环境与...
创建RDS MySQL数据订阅通道
如果订阅的源数据库还处于其他任务中（例如该数据库还存在于某个正在运行的数据迁移任务中），您可能会订阅到订阅对象以外的数据，此类场景中，您需要手动在订阅客户端中过滤掉不需要的数据。操作步骤 购买数据订阅通道，详情请参见 购买...
新功能发布记录
管理表结构版本 超级SQL模式 新增 开启超级SQL模式后，管理员和DBA在SQLConsole中执行SQL语句将不受安全规则的限制。超级SQL模式 优化SQL风险审核 优化 在SQLConsole中增加无锁变更的SQL审核并提供审核建议，同时覆盖管控模式为自由操作的...
重复列表
即在上文 步骤二：配置重复列表的数据源 中配置的数据源。重复列表组件的数据源类型不同，配置方法不同：设备：选择数据项 设备基础标签 和 设备属性标签。接口或静态数据：选择字段。说明 如果使用 实时曲线 组件，且选择并配置重复列表...
同数据库归档
当数据库中表的数据量过大时，可能会影响查询数据速率，在不考虑将数据迁移到其他数据库的情况下，您可以将数据库中的历史数据或使用频率低的冷数据归档在当前数据库下的其他表中。同时，结合DMS提供的归档时清理源表功能，帮助您提升数据...
半结构化分析
其中，JSON数据类型直接存储输入文本，会保存JSON数据中语义无关的空格，并且会保持JSON对象键的顺序，以及JSON数据中重复的键和键对应的数据。对于重复键在查询的时候会将最后一个遇到键的值当作有效值。JSONB数据类型则是以二进制格式来...
执行补数据并查看补数据实例（旧版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
从Amazon RDS SQL Server全量迁移至阿里云
为保障数据一致性，数据迁移期间请勿在Amazon RDS SQL Server中写入新的数据。目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果目标数据库中有同名的表，...
常见问题
为保证DAS企业版 V1的审计明细数据“不重复、不丢失”，DAS会在迁移过程中导出DAS企业版 V1的所有数据，并通过ETL（Extract Transform Load）进行处理校验，然后再写入到DAS企业版 V3的存储引擎。迁移过程可能会持续一段时间，请耐心等待。...
行级管控
说明 同一个管控组中不可重复定义行级管控表，且一张表仅支持定义一个字段。单击 添加。添加管控行值。单击管控组名称右侧的 详情。在详情页面，单击 添加行值，配置如下信息。配置项 说明 是否追加 取值及说明如下：是：本次导入将在现有...
- 产品推荐
- 这些文档可能帮助您