离线同步常见问题
脏数据报错不清晰时，需要复制出打印出的脏数据的一整条，观察其中的数据，和目的端数据类型比较，看哪一条或哪一些不合规范。比如：{"byteSize":28,"index":25,"rawData":"ohOM71vdGKqXOqtmtriUs5QqJsf4","type":"STRING"} byteSize：字节...
透明数据加密概述
加密解密流程 所有加密解密操作均在内存中进行，内存中的数据是明文，磁盘中的数据是密文，这可以避免因磁盘被盗而产生的数据泄露问题，同时数据库的使用方式保持不变，没有适配成本。数据库启动时会从KMS获取KEK，从而解密DEK，解密后的...
创建ClickHouse数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。权限说明 Dataphin仅支持 超级管理员、...
创建ClickHouse数据源
如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息，请参见 Dataphin数据源表开发方式。重要 目前仅支持 MySQL、Hologres、MaxCompute 数据源。数据源编码...
常见错误码及排查方法
通过 INSERT INTO SELECT 将源表中的数据写入新建表中，删除报错的表，然后通过 RENAME 将新表更名为报错的表名，重启DTS任务即可。DTS-70004:execute statement failed:/*aaaaaaaaaaMysqlEngine(28)*/update `xxx`.`yyy` set.error detail...
数据源权限管理
是否支持再次分享已被分享的数据源？数据源的创建者是否有权控制该数据源？什么是私有模式的数据源？哪些用户能够收回数据源的分享权限？如何检查数据源分享关系的移除、关联情况？分享数据源后，其资源组的连通状态是否会被同步分享？分享...
基本概念
数据同步 数据源：是指数据库应用程序所使用的数据库或者数据库服务器，在数据资源平台的数据同步中可以将配置好的数据源端数据同步到目标端。多源异构数据：指的是多种不同结构的数据源。数据模板：用于对非结构化数据的解释，当创建数据...
概述
向量数据库简介 在现实世界中，绝大多数的数据都是以非结构化数据的形式存在的，如图片，音频，视频，文本等。这些非结构化数据随着智慧城市、短视频、商品个性化推荐、视觉商品搜索等应用的出现而爆发式增长。为了能够处理这些非结构化...
资产安全概述
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务，详情请参见 开通Dataphin。应用场景 基于Dataphin实现数据安全保护的一些典型的...
资产安全概述
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务并且当前租户已开通 资产安全 模块。应用场景 基于Dataphin实现数据安全保护的一些...
数据导入常见问题
报错“failed to send batch或TabletWriter add batch with unknown id”，该如何处理？报错“LOAD-RUN-FAIL;msg:OrcScannerAdapter:init_include_columns.col name=xxx not found”，该如何处理？导入作业长时间没有结束等问题应该如何...
Tablestore外部表
本文将进一步为您介绍如何将来自Tablestore（原OTS）的数据纳入MaxCompute上的计算生态，实现多种数据源之间的无缝连接。背景信息 表格存储（Tablestore）是构建在阿里云飞天分布式系统之上的NoSQL数据存储服务，提供海量结构化数据的存储...
数据库分组
若您需要在SQL变更或结构设计中快速载入多个数据库，可以创建一个数据库分组，将多个数据库环境、引擎类型相同的数据库绑定成为一个分组。本文介绍如何创建数据库分组。背景信息 当您的业务部署在多个地域，且存在多个数据库时，您每次做...
修改组件数据
在下方的数据配置区域内，按照您的需求修改模板已有的数据，或粘贴准备好的JSON格式的数据。说明 添加数据时的字段名要和系统设置保持一致。数据配置完成后，您可以在 设置数据源 页面单击 数据响应结果 的 图标刷新数据响应结果。数据响应...
修改名单抽奖数据
在下方的数据配置区域内，按照您的需求自定义修改模板已有的数据，或直接粘贴准备好的JSON格式的数据。说明 添加数据时的字段名要和系统设置保持一致。数据配置完成后，您可以在 设置数据源 页面单击 数据响应结果 的 图标刷新数据响应结果...
修改名单抽奖数据
在下方的数据配置区域内，按照您的需求自定义修改模板已有的数据，或直接粘贴准备好的JSON格式的数据。说明 添加数据时的字段名要和系统设置保持一致。数据配置完成后，您可以在 设置数据源 页面单击 数据响应结果 的 图标刷新数据响应结果...
配置跨库Spark SQL节点
任务编排中的跨库Spark SQL节点，主要针对各类跨库数据同步和数据加工场景，您可以通过编写Spark SQL，完成各种复杂的数据同步或数据加工的任务开发。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、...
添加数据
由于本示例的数据区域是全国范围，因此 裁剪边界数据接口 的数据可以保持不变。您也可以根据需要修改 裁剪边界数据接口 的数据。在 插值点数据接口 的配置页面，单击 配置数据源。在 设置数据源 页面，按照以下说明配置数据源。数据源类型...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
数据分析概述
DataWorks提供的数据分析平台，可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中，您不仅可以在线洞察数据，还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...
创建Aliyun HBase数据源
如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息，请参见 Dataphin数据源表开发方式。重要 数据源编码配置成功后不支持修改。数据源描述 对数据源的简单...
配置SQLServer数据源
背景信息 标准模式的工作空间支持数据源隔离功能，您可以分别添加并隔离开发环境和生产环境的数据源，以保护您的数据安全。详情请参见 数据源开发和生产环境隔离。操作步骤 进入 数据源管理 页面。登录 DataWorks控制台。在左侧导航栏，...
创建Aliyun HBase数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 附录：数据源白名单配置。权限说明 仅支持 超级管理员、...
数据治理
存储量是实时的数据，存储趋势图（折线图）是某一时刻的快照，如果您现在的计算量很少（产生的临时表比较少）的话，两个确实会有一些差距。数据地图血缘展示延迟问题 血缘有最少一天的延迟 数据地图新建表搜不到 若数据地图表和表目前状态...
功能特性
功能集 功能 功能描述 参考文档 安全 备份与恢复 MaxCompute提供数据备份与恢复功能，系统会自动备份数据的历史版本（例如被删除或修改前的数据）并保留一定时间，可以对保留周期内的数据进行快速恢复，避免因误操作丢失数据。备份与恢复 ...
数仓分层
基于阿里巴巴OneData方法论最佳实践，在阿里巴巴的数据体系中，建议将数据仓库分为三层：数据引入层（ODS，Operational Data Store）、数据公共层（CDM，Common Dimensions Model）和数据应用层（ADS，Application Data Store）。...
设置资产数据源
单击编辑器右侧的 数据 图标。在 数据 面板中，单击 配置数据源。在 设置数据源 页面中，可修改数据源的类型和脚本、配置数据过滤器并查看数据响应结果。修改数据源的类型和脚本 在 设置数据源 页面中，在 数据源类型 列表中可修改数据源...
常见问题
非插件报错原因及解决方案 如何处理编码格式设置/乱码问题导致的脏数据报错？任务存在SSRF攻击Task have SSRF attacks如何处理？离线同步任务执行偶尔成功偶尔失败。离线同步源表有加列（修改）如何处理？如何处理表列名有关键字导致同步...
Schema约束
Schema约束策略决定了数据写入时是否校验表是否存在、表结构是否一致、字段的数据类型是否一致。不同的数据写入方式，支持的Schema约束策略不同。本文介绍Lindorm时序引擎Schema约束的概念和使用。Lindorm时序模型的Schema Lindorm时序引擎...
DML操作常见问题
向MaxCompute表中插入FLOAT类型的数据报错，如何解决？对相同数据执行INSERT SELECT操作和SELECT操作的结果为什么不一致？目标表的字段类型为VARCHAR(10)，插入数据溢出时会报错吗？在执行MaxCompute SQL过程中，报错Transaction timeout ...
ACID语义
INSERT OVERWRITE/TRUNCATE作业会覆盖先结束的INSERT OVERWRITE/TRUNCATE作业的数据。先、后结束的作业都会执行成功。INSERT INTO作业会在先结束的INSERT OVERWRITE/TRUNCATE作业的数据上追加数据。后结束的UPDATE/DELETE作业会报错。后...
OGG插件介绍
随着数据规模的不断扩大，传统的RDBMS难以满足OLAP的需求，本文将介绍如何将Oracle的数据实时同步到阿里云的大数据处理平台当中，并利用大数据工具对数据进行分析。OGG采集工具 一、背景介绍 说明 随着数据规模的不断扩大，传统的RDBMS难以...
数据源中心
EMR Workflow的数据源中心支持配置数据源，以满足不同的数据存储和访问需求。本文为您介绍如何创建、编辑和删除数据源。使用限制 数据源所在的集群和运行工作流时选择的集群需要在同一VPC下。创建数据源 进入数据源中心页面。使用阿里云...
Tunnel命令常见问题
使用Tunnel Upload命令上传数据报错，是否有类似MySQL的-f参数，可以强制跳过错误数据继续进行上传？使用Tunnel Upload命令上传数据时，报错You cannot complete the specified operation under the current upload or download status，...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有多种不同的定义方法，给后期进行数据汇集和整合带来障碍。因此，数据处理的前奏就是数据标准化，数据标准作为一个统一的数据共识，在标准...
外部数据
简介 本数据库实现了部分的 SQL/MED 规定，允许我们使用普通 SQL 查询来访问位于本地数据库之外的数据。这种数据被称为外部数据。说明 这种用法不要和外键混淆，后者是数据库中的一种约束 外部数据可以在一个外部数据包装器的帮助下被访问...
数据集成概述
数据集成是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。使用限制 数据同步：支持且仅支持结构化（例如RDS、DRDS等）、半结构化、无结构化（OSS、TXT等，要求具体同步...
MySQL节点
常见问题：任务执行报错 暂不支持的jdbc驱动 问题描述 添加MySQL数据源时，选择了非连接串模式创建的数据源，导致运行任务时失败，报错信息为 sql execute failed!暂不支持的jdbc驱动。问题原因 出现上述报错通常都是选择了非连接串模式...
任务运行失败
MySQL节点报错：暂不支持MySQL节点驱动 问题描述添加MySQL数据源时，选择了非连接串模式创建的数据源，导致运行任务时失败，报错信息为 sql execute failed!暂不支持的jdbc驱动。问题原因出现上述报错通常都是选择了非连接串模式创建的...
调试预览指南
单击选择一个报错记录，右侧会弹出 数据快照 框，框内将进一步说明报错时的数据、回调ID（如有）、页面临时变量（如有）以及报错堆栈情况。表 1.组件日志记录的常见报错类型 报错类型 类型说明 数据源报错 组件请求数据源发生错误时，产生...
- 产品推荐
- 这些文档可能帮助您