配置Hologres输出
插入 表示将Hologres作为流存储，通过 INSERT 保存源端同步过来的数据。写入冲突策略 包括 覆盖 和 忽略 两种类型：覆盖：使用源端同步过来的新数据覆盖已有的数据。忽略：忽略源端同步过来的新数据，保留已有的数据。字段映射 单击 字段...
数据集成调度策略说明
目标库需具备充足的存储空间用于存放每个周期DTS迁移过来的数据。适用于某些测试场景，例如对多个副本历史数据执行测试操作。重新同步模式 在第一个调度时间点，DTS自动地将待迁移对象的结构和存量数据迁移至目标库中；在后续的调度时间点...
专有网络VPC的数据源连通独享数据集成资源组
本文以阿里云RDS数据库为例，为您介绍专有网络VPC的数据源如何连通独享数据集成资源组。前提条件 购买RDS MySQL实例。本文以购买MySQL 5.7版本的MySQL实例为例，您可以根据业务需求进行配置。详情请参见 快速创建RDS MySQL实例。在目标实例...
外部数据
简介 本数据库实现了部分的 SQL/MED 规定，允许我们使用普通 SQL 查询来访问位于本地数据库之外的数据。这种数据被称为外部数据。说明 这种用法不要和外键混淆，后者是数据库中的一种约束 外部数据可以在一个外部数据包装器的帮助下被访问...
时空数据库版本发布记录
Scene SQL 增强 ST_AsB3DM 和 ST_AsGLB 函数支持使用draco进行压缩获取更小的数据大小。缺陷修复 Geometry SQL 修复多个扩展同时创建时，ST_DWithin函数使用文本方式调用时报函数不唯一错的问题。修复Geometry模块ST_AsMVTGeomEx函数使用...
时空数据库版本发布记录
Scene SQL 增强 ST_AsB3DM 和 ST_AsGLB 函数支持使用draco进行压缩获取更小的数据大小。缺陷修复 Geometry SQL 修复多个扩展同时创建时，ST_DWithin函数使用文本方式调用时报函数不唯一错的问题。修复Geometry模块ST_AsMVTGeomEx函数使用...
GetDatabase
获取给定数据库信息 请求参数 名称 类型 是否必选 示例值 描述 Name String 是 db001 需要获取的数据库名称 返回数据 名称 类型 示例值 描述 Code String NO_SUCH_OBJECT 如果请求出错，则返回错误代码 DatabaseModel object 返回的数据库...
表设计规范
表数据存储规范 按数据层规划数据的生命周期：源表ODS层：每天从业务系统同步过来的数据，全部保留，生命周期定义永久保存。当下游数据受损时，可以从ODS恢复数据。若ODS每天同步过来的是全量表，则可以通过全表拉链的方式来压缩存储。数据...
数据服务概述
数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。前提条件 已购买 数据服务 增值服务，开通Dataphin 常见数据应用问题 一般从需求提出到需求交付分为：需求提出-需求...
Python
参考如下字段，对应的值，则取自步骤一获取的数据库连接参数。user：取自-u 参数，租户的连接账号。password：取自-p 参数，账号密码。host：取自-h 参数，OceanBase 数据库连接的域名。port：取自-P 参数，OceanBase 数据库连接端口，...
使用全局变量
过滤器引用 说明 新版DataV服务中的 getCallbackValue 和 getLocalValue 的数据获取效果一样，为了兼容旧版DataV服务，保留了 getLocalValue，建议您优先使用 getCallbackValue。在 画布编辑器 页面，单击上方 快捷搜索 框。输入 按钮 和 ...
产品优势
数据安全中心DSC（Data Security Center）可扫描和识别海量数据，帮您实时获取数据的安全状态。本文介绍 数据安全中心 的产品优势。合规性 使用数据安全中心产品，可以帮助企业满足等保2.0对“云计算环境下安全审计”及“个人信息保护”的...
HikariCP 连接池连接 OceanBase 数据库示例程序
user=test_user001&password=*&useSSL=false 步骤三：修改 hikaricp-mysql-client 项目中的数据库连接信息 根据 步骤二：获取 OceanBase 数据库 URL 中获取的信息修改文件 hikaricp-mysql-client/src/main/resources/db.properties 中的...
确定需求
各个已有的业务板块的主要功能及获取的数据。本教程中以A公司的电商业务为例，梳理出业务数据框架如下图所示。A公司的电商业务板块分为招商、供应链、营销和服务四个模块，每个板块的需求和数据应用都不同。您在构建数据仓库之前，首先需要...
确定需求
各个已有的业务板块的主要功能及获取的数据。本教程中以A公司的电商业务为例，梳理出业务数据框架如下图所示。A公司的电商业务板块分为招商、供应链、营销和服务四个模块，每个板块的需求和数据应用都不同。您在构建数据仓库之前，首先需要...
Java 驱动连接 OceanBase 数据库
参考如下字段，对应的值，则取自步骤一获取的数据库连接参数。url：取自-h 和-P 参数，jdbc:oceanbase:/IP:port/?pool=false。OceanBase 数据库连接的域名以及端口号。Oracle 模式租户默认端口号为 1521。user：取自-u 参数，连接租户的...
配置数据识别规则
说明 对CDH引擎中数据进行识别和脱敏时，您需要通过DataWorks的数据抽样采集器功能，从CDH Hive表中随机抽取表的部分数据用于数据保护伞的敏感数据识别，抽样采集的数据不会存储至DataWorks中，没有数据泄漏风险。详情请参见：CDH Hive数据...
实时消费Kafka数据
在UPDATE和MERGE写入时，Streaming Server会先将数据写入一个临时表，然后利用MatchColumns作为条件列与目标表进行Join：如果有匹配的数据，则会更新UpdateColumns中的数据。如果没有匹配的数据时，则会根据写入模式有以下两种情况：写入...
Java
参考如下字段及拼接方法，对应的值，则取自步骤一获取的数据库连接参数。connection=DriverManager.getConnection("jdbc:mysql:/{host}:{port}/{dbname}?user={username}&password={password}")host：取自-h 参数，OceanBase 数据库连接的...
Go
参考如下字段及拼接方法，对应的值，则取自步骤一获取的数据库连接参数。conn:="{username}:{password}@tcp({hostname}:{port})/{dbname}"参数说明：username：取自-u 参数，租户的连接账号。password：取自-p 参数，账号密码。hostname：...
API概览
ListUserRoles 获取单个User的数据湖角色列表 获取单个User的数据湖角色列表。ListPermissions 获取权限列表 获取权限列表。CheckPermissions 对User权限进行校验 对User权限进行校验。GetCatalogSettings 获取数据湖Catalog的配置 获取...
API概览
ListDatabases 获取实例的数据库详情列表 调用ListDatabases获取一个实例下的数据库列表详情信息。ListTables 获取数据库的表详情列表 调用ListTables获取一个库下面的表详情列表。ListColumns 获取表的列信息 返回表的列信息。ListIndexes...
数据库自治服务的审计事件
GetHDMNewAccessInstanceList 获取新授权或者新创建的数据库实例。GetHDMRawMetricList 获取Metric英文名（未经过JStorm计算处理）和Metric中文名的映射。GetHDMTopology 根据实例UUID获取拓扑关系。GetHDMUser 获取用户信息。...
通过JDBC连接Dataphin
获取列的数据类型：resultSet.getString("data_type");ResultSet getColumns(String catalog,String schemaPattern,String tableNamePattern,String columnNamePattern)示例 可通过Dataphin JDBC Driver获取Catalog信息。1.获取表列表 获取...
数据类型
表格存储数据类型 Node.js SDK数据类型 描述 String string JavaScript语言中的基本数据类型 Integer int64 Node.js SDK封装的数据类型 Double number JavaScript语言中的基本数据类型 Boolean boolean JavaScript语言中的基本数据类型 ...
数据管理的审计事件
ListDatabases 获取实例的数据库详情列表。ListDatabaseUserPermssions 展示具备指定数据库权限的用户权限详情。ListDataCorrectPreCheckDB 获取数据变更预检查DB列表。ListDataCorrectPreCheckSQL 获取数据变更预检查SQL详情列表。...
区域下钻热力层（v2.x版本）
当自定义区域数据请求失败时 自定义区域数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页...
订阅方案概览
数据订阅功能可以帮助您获取数据库的实时增量数据，您可以根据自身业务需求自由消费增量数据，并写入目标端，实现各类业务场景，例如缓存更新、业务异步解耦、异构数据源数据实时同步及含复杂ETL的多种业务场景。数据订阅方案 说明 是否...
订阅方案概览
数据订阅功能可以帮助您获取数据库的实时增量数据，您可以根据自身业务需求自由消费增量数据，并写入目标端，实现各类业务场景，例如缓存更新、业务异步解耦、异构数据源数据实时同步及含复杂ETL的多种业务场景。数据订阅方案 说明 是否...
全量数据同步
通过选择已注册的数据源端数据和目标端，实现全量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线全量数据同步一次性调度的任务。前提条件 已新建工作组，具体操作，请参见 新建工作组。已在工作组中...
数据订阅操作指导
数据订阅功能可以帮助您获取数据库的实时增量数据，适用于缓存更新策略、业务异步解耦、异构数据源的数据实时同步和复杂ETL的数据实时同步等多种业务场景。本文介绍数据订阅功能的具体使用流程，帮助您快速掌握创建、监控、管理数据订阅...
数据分析：即时快速分析
流动：在线数据分析可以从不同业务系统的数据库获取数据进行分析。DataWorks数据分析支持导出数据为MaxCompute表，或分享结果数据至指定成员，并赋予其权限。数据可以在不同的系统和人员之间流动。安全：所有SQL查询、SQL结果下载等功能的...
API概览
DescribeColumnsV2 查询数据资产表中列的数据V2 调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列的数据。DescribeOssObjects 查询OSS的存储对象列表 调用本接口查询连接授权的OSS的存储对象列表。...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
GetQueryOptimizeDataTrend-获取查询治理趋势数据
调用GetQueryOptimizeDataTrend接口，获取查询治理趋势数据。接口说明 在使用阿里云 SDK 时，需要保证 aliyun-sdk-core 的版本大于 2.1.8，建议使用最新版本。使用 DAS 的 SDK 的版本为 2.1.8 或以上。在使用 SDK 调用 DAS 服务时，需要将...
概述
本文主要介绍需要实时获取HBase表的数据变更场景。数据写入HBase之后，很多业务场景下需要实时获取或者订阅HBase表的数据变更。当数据被更新时，触发其他应用的业务处理，如物流订单生成后触发仓库作业。对接实时计算，用于业务数据驱动的...
SQL备份与回滚（公测中）
DMS为您提供了两种备份策略：通用备份：非MySQL的关系型数据库固定使用该备份方式，系统会先找出受变更影响的数据行，并生成INSERT或REPLACE INTO语句。精确备份：RDS MySQL、PolarDB MySQL版、RDS MariaDB 及自建MySQL数据库可使用精确...
GetDataImportSQL-获取数据导入的SQL
接口说明 仅支持导入模式为安全模式的数据导入工单使用此 API，不支持极速模式的数据导入使用此 API。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 ...
数据共享SQL
实例开通数据共享后，还需要通过SQL创建共享并授权，才能实现实例间的数据共享。本文介绍 AnalyticDB PostgreSQL版Serverless模式 数据共享相关SQL操作。注意事项 源库和目标库所属的实例在同一地域下，且已加入数据共享。如何将实例加入...
连接SQL Server实例
完成初始化配置后，您可以通过多种方式连接到SQL Server实例（例如通过...常见问题 Q：我使用函数计算，想获取RDS的数据，要怎么操作呢？A：您可以为函数安装第三方依赖，使用内置模块获取RDS数据。具体操作，请参见 为函数安装第三方依赖。
- 产品推荐
- 这些文档可能帮助您