连接方式概述
OceanBase Connector/J 驱动程序属于 JDBC Type 4 驱动类型，可以通过本地协议直接与数据库引擎通信。Connector/J 驱动程序兼容 OB2.0 协议。OceanBase 数据库支持 OceanBase Connector/J 驱动，可以自动识别 OceanBase 数据库的运行模式是...
GxP欧盟附录11标准合规包
5.1 以电子方式与其他系统交换数据的计算机化系统应包括适当的内置检查，以确保数据的正确和安全输入和处理，以最大限度地减少风险。7.1 应通过物理和电子手段保护数据免受损坏。应检查存储的数据的可访问性、可读性和准确性。应确保在整个...
使用场景
数据治理与数据管控 DMS任务编排提供了数据源的配置和管理功能，支持对数据源进行统一管理和控制，保证数据的安全性和可控性。数据归档与清理 将业务数据周期性地归档至低价存储并进行分析。任务调度 对定时、定期或事件触发的任务进行调度...
数据传输与迁移概述
类型 典型场景 OSS数据与MaxCompute数据上传 LOAD命令。外部表，湖仓一体。Hologres数据写入MaxCompute MaxCompute直读Hologres数据。OTS/RDS（MySQL）/HBase/Lindorm/Hudi/HDFS/Hive等其它数据源写入MaxCompute 无。实时数据写入（数据...
数据迁移与同步FAQ
本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：...
概述
背景信息 Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供了更高抽象层的API以便您编写分布式任务。Flink（VVR）完全兼容开源Flink，相关内容请...
数据上传
说明 若待上传数据与目标表字段不存在映射关系，则该数据将会被置灰，且不会被上传。待上传数据与目标表字段不能存在重复映射关系。字段名称和字段类型不能为空，否则数据无法上传。预览数据并设置目标表字段（上传数据至新建表）可通过 ...
使用MaxCompute控制台（离线）
重要 若待上传数据与目标表字段不存在映射关系，则该数据将会被置灰，且不会被上传。待上传数据与目标表字段不能存在重复映射关系。字段名称和字段类型不能为空，否则数据无法上传。查看上传记录 提交上传后，若数据量较大，需要耗费一些...
上传数据
您可以选择按位置匹配或按名称匹配两种方式来匹配待上传的数据与MaxCompute表字段的对应关系。完成后，界面提示数据导入成功，您即完成了从本地上传数据至MaxCompute表中，您可以在临时查询页面中查看已上传的数据，操作请参见 创建临时...
DataWorks模块使用说明
迁移助手 DataWorks迁移助手支持将开源调度引擎的作业迁移至DataWorks，支持作业跨云、跨Region、跨账号迁移，实现DataWorks作业快速克隆部署，同时DataWorks团队联合大数据专家服务团队，上线迁云服务，帮助您快速实现数据与任务的上云。...
DataWorks on EMR Serverless StarRocks最佳实践
2024年02月01日之前购买的资源组，如果在资源组与数据源网络已连通的情况下，此处元数据采集显示连通性测试不通过，请联系技术支持升级资源组版本后，再进行尝试。搜索 进入数据地图页面。登录 DataWorks控制台，切换至目标地域后，单击...
数据库迁移
一致性校验 迁移完成后，对迁移前后的数据进行对比，以确定迁移后的数据与源数据相同。不校验：不校验迁移后的数据是否与源数据相同。迁移完成，自动校验：迁移完成后，自动开始校验迁移后的数据是否与源数据相同。选中 迁移完成，自动校验...
数据追踪
DMS 可追踪到的数据与目标数据库实例的Binlog保留时长有关，若该数据的保存时间超过Binlog的保留时长，则获取不到该部分数据。若数据库的Binlog未开启或数据库登录状态异常，系统将无法获取日志文件。数据追踪功能仅支持追踪DML数据变更的...
数据集成概述
您需要确保数据集成用于执行数据同步的资源组与您将同步的数据来源端与目标端网络环境的连通，数据集成支持您根据数据源所在网络环境，选择对应的网络同步任务，关于网络连通方案选择与配置资源组与数据源的网络连通，详情请参见：配置资源...
数据查询与分析管控
您可通过 管控数据源的查询权限 功能，对其他用户或角色进行授权，授权时应注意：成员或角色被授权数据源查询权限后，将获得与数据源访问身份同样的权限。为保障数据的安全性（特别是生产数据），建议您合理规划后谨慎分配权限。标准模式...
通过向导模式配置离线同步任务
增量同步过滤条件的语法与数据库语法基本一致，同步时，离线同步将拼接为完整SQL向对应数据源抽取数据。当不配置数据过滤条件时，默认同步该表全量数据。关系型数据库配置切分键 定义将源端待同步数据基于源端哪一个字段进行切分，同步任务...
数据分析整体趋势
大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在MapReduce基础上提供了标准SQL接口，架构上也逐步采用了部分MPP数据库技术；另一方面，分布式数据库也快速发展...
产品概述
在需要将部分数据与第三方分享时，用户希望在不泄漏自身密钥的前提下完成加密数据的分享，同时满足合规要求。例如：在联合风控、跨国服务等场景下，有严格的数据合规要求，组织间无法进行明文数据的合规化获取。在合作营销等场景下，存在...
数仓规划概述
使用DataWorks进行数据建模时...DataWorks智能数据建模在进行跨多个工作空间数据的统一建模情况下，为您提供了 模型设计工作空间 与 数据研发工作空间 的概念，通过建模空间功能实现模型跨工作空间应用。建模空间的详细介绍请参见 建模空间。
功能发布记录（2024年）
2024.2.6 所有地域 所有DataWorks用户 系统配置 2024-01 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 数据开发与数据分析的查询结果支持脱敏展示 数据保护伞支持对E-MapReduce表数据进行分类分级、敏感数据识别、数据脱敏展示...
产品概述
在需要将部分数据与第三方分享时，用户希望在不泄漏自身密钥的前提下完成加密数据的分享，同时满足合规要求。例如：在联合风控、跨国服务等场景下，有严格的数据合规要求，组织间无法进行明文数据的合规化获取。在合作营销等场景下，存在...
数据归档至DBS内置OSS
说明 数据归档功能将以0时区进行数据归档与后置行为（与数据库实际时区无关）。可选：查看已归档数据。在DBS中将备份集创建数据湖。更多信息，请参见 创建数据湖。可选：将数据湖录入至DMS实例中。您可以在SQL窗口中进行数据查询，在任务...
概览
暂不支持 使用COPY ON CONFLICT覆盖导入数据 使用COPY命令快速导入数据的过程中，如果数据与表的约束冲突，会导致COPY命令报错退出。AnalyticDB PostgreSQL版 提供了COPY ON CONFLICT功能，可以让数据COPY不会因为约束冲突导致失败。暂不...
OSS数据安全防护最佳实践
应用场景 敏感数据识别 云端OSS中存储了大量的数据与文件，但无法准确获知这些OSS数据中是否包含敏感信息以及敏感数据所在的位置。您可以使用 DSC 内置算法规则，或根据其行业特点自定义规则，对其存储在OSS中的数据进行整体扫描、分类、...
功能概述
在需要将部分数据与第三方分享时，用户希望在不泄露自身密钥的前提下完成加密数据的分享，同时满足合规要求。例如：在联合风控、跨国服务等场景下，有严格的数据合规要求，组织间无法进行明文数据的合规化获取。在合作营销等场景下，存在...
概述
在需要将部分数据与第三方分享时，用户希望在不泄漏自身密钥的前提下完成加密数据的分享，同时满足合规要求。注意事项 加密规则在主地址上不生效，您需要使用集群地址或自定义集群地址。当前只支持普通的 COM_QUERY ，不支持 ...
什么是数据资源平台
平台通过将业务数据沉淀为智能数据或智能算子，以可视化拖拉拽和简单图形化条件设定进行模型编排，支持离线、在线、实时全场景，采用简化建模过程、提高模型运行效能、融合智能化算法等方式帮助用户将数据与业务结合起来，不断积累和沉淀...
使用DataWorks
测试资源组与数据来源、数据去向之间的网络连通性，确认独享数据集成资源组与数据源网络已打通。然后单击 下一步。配置任务。配置数据来源与去向。在 数据来源 和 数据去向 区域，配置任务读取与写入的表，及同步的数据范围。详情请参见 ...
创建同步任务
您需要测试每种资源组的连通性，以保证同步任务使用的资源组能够与数据源连通，否则将无法正常执行数据同步任务。测试连通性通过后，单击 完成，数据源创建完成。步骤二：新建并配置同步任务 通过创建同步节点 write_result 来生成一个同步...
快速体验
您无需自行准备RDS MySQL云产品及数据，本实验为您提供公共的实验环境与数据。任务运维 使用DataWorks的 运维中心，周期性调度数据同步、清洗加工任务流程，获得每日的最新业务数据，同时可以监控每日任务运行的状态。数据治理 使用...
DataWorks On Hologres使用说明
开始使用：数据治理 DataWorks提供 Hologres 元数据管理与数据治理能力。开始使用：数据服务 DataWorks提供数据服务能力，帮助您统一管理面向内外部的API服务。开始使用：开放平台 DataWorks支持开放能力，帮助您快速实现各类应用系统对接...
DataWorks On MaxCompute使用说明
开始使用：数据治理 DataWorks提供 MaxCompute 元数据管理与数据治理能力。开始使用：数据服务 DataWorks提供数据服务能力，帮助您统一管理面向内外部的API服务。开始使用：开放平台 DataWorks支持开放能力，帮助您快速实现各类应用系统...
数据集市
说明 删除 指定主题域，不仅会删除该主题域与数据集市的绑定关系，同时，会将该主题域一并删除，请您谨慎操作。创建子数据集市 在一级数据集市下，如有其他子数据集市，可继续新建子数据集市。创建方法与一级数据集市相同。后续步骤 完成...
采集数据
本教程采用离线同步方案，DataWorks将数据集成离线同步能力封装为离线同步节点，一个离线同步节点代表一个同步任务，节点内通过数据来源与数据去向定义数据源之间的数据传输，通过字段映射的方式定义源端字段与目标端字段的数据读取与写入...
区域热力层
如果修改后的区域数据与父组件区域范围无任何交集，无法看到配置后的子组件区域热力层内容。在数据配置的过程中，可能会出现区域文字标注有偏移的问题，解决方法请参考 基础平面地图 中 区域热力层 子组件内的 文字标注偏移解决方案。热力...
采集数据
本教程采用离线同步方案，DataWorks将数据集成离线同步能力封装为离线同步节点，一个离线同步节点代表一个同步任务，节点内通过数据来源与数据去向定义数据源之间的数据传输，通过字段映射的方式定义源端字段与目标端字段的数据读取与写入...
QPS限制
通过阅读本文，您可以了解音视频通信数据服务单用户的API QPS限制。单用户QPS限制 单用户的API QPS限制是指以阿里云账号为基准，该账号及其RAM用户每秒或每分钟调用某API的频率上限。例如：某阿里云账号及其对应5个RAM用户同时调用接口 ...
MySQL节点
说明 访问公共网络或VPC网络环境的数据源需要使用与数据源测试连通性成功的调度资源组。详情请参见 配置资源组与网络连通。如果您后续执行任务需要修改使用的资源组，您可单击 带参运行 图标，选择需要更换的调度资源组。使用SQL语句创建...
迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库...
目标端表对象存在数据时，如果原数据与写入数据冲突，数据传输采用将冲突数据记录日志，保留原数据不变的策略进行数据写入。重要 全量校验将使用 IN 模式拉取数据，无法校验目标端多数据的场景，并且校验性能存在一定程度降级。单击 预检查...
实验介绍
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，...
- 产品推荐
- 这些文档可能帮助您