出错提示S10磁盘分区文件数据同步测试出错
本文主要介绍在使用SMC迁移时，迁移任务出错提示“S10_*磁盘分区文件数据同步测试出错”的问题描述、问题原因及其解决方案。问题描述 在SMC迁移时，迁移任务出错提示“S10_*磁盘分区文件数据同步测试出错”。其中S10_*可能的错误码如下：S...
出错提示S2磁盘分区文件数据同步出错
本文主要介绍在使用SMC迁移时，迁移任务出错提示“S2_*磁盘分区文件数据同步出错”的问题描述、问题原因及其解决方案。问题描述 在SMC迁移时，迁移任务出错提示“S2_*磁盘分区文件数据同步出错”。其中S2_*可能的错误码如下：S2_R255 S2_R...
创建同步OSS
准备工作 1.准备OSS Bucket DataHub支持将数据同步到对象存储...确认同步数据同步文件在OSS中的命名格式如下图所示：包含Bucket、目录前缀、二级目录以及文件名等 下载该文件，并查看文件内容，TUPLE同步文件内容为csv数据格式，如下图所示：
Oracle数据源
Oracle数据源为您提供读取和写入Oracle双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的Oracle数据同步能力支持情况。支持的版本 离线读写 版本 离线读（Oracle Reader）离线写（Oracle ...
数据同步简介
基本原理 类似于 MySQL 的 binlog 机制，数据同步服务器和客户端 SDK 之间传递的基本数据单元为 oplog，当业务需要同步一个变更数据到指定的用户或设备时，业务调用数据同步接口，数据同步服务端会将业务需要同步的数据变更包装为一个 ...
BigQuery数据源
BigQuery数据源为您提供读取BigQuery的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的BigQuery数据同步能力支持情况。支持的版本及地域 BigQuery使用的SDK版本是 google-cloud-bigquery 2.29.0，...
数据量
数据文件空间 数据库的数据文件在服务器上占用磁盘空间。如何查看数据文件大小：RDS数据库：在 实例列表 页，单击实例所在行 管理 进入实例详情页。在左侧导航栏单击 监控与报警。界面默认选择 标准监控 页签的 资源监控 项。在 磁盘空间 ...
服务器一键迁移
SMC支持不停机将源服务器（包括系统盘和数据盘）从物理机、本地虚拟机（VMware、Xen、KVM、Hyper-V等）、其他云厂商（AWS、Azure、Google Cloud、腾讯云等）迁移至阿里云。本文主要介绍如何一键迁移服务器到阿里云的操作。迁移场景 源...
桌面服务器迁移至无影云电脑
保持默认 自动增量同步 迁移任务是否自动同步源服务器增量数据至阿里云。默认关闭自动增量同步。开启该开关后，需设置以下配置项：同步重复频率：增量迁移任务周期性自动执行的时间间隔。最大镜像保留数：增量迁移任务默认保留的最大镜像数...
数据下载
在DataWorks的数据开发（DataStudio）、数据分析、安全中心模块下载的CSV、XLSX格式文件数据将同步保存至数据下载功能。通过该功能，您可将所需历史下载文件重新下载至本地使用，也可追溯历史下载记录的操作详情。前提条件 已通过如下模块...
数据下载
新增数据下载功能，实现文件网关通过反向同步或极速同步的文件数据可以下载指定路径目录文件数据或全量数据至本地客户端。经公网下载数据会产生OSS服务费用，您可以根据自己的需求进行选择使用。更多信息，请参见 计费概述。新建共享目录...
评估迁移时间与测试传输速度
背景信息 在SMC迁移过程中，SMC服务会先在您的阿里云账号下准备一台临时中转实例（如果是迁移到目标实例，则把目标实例当作中转实例），再将源服务器数据传输到中转实例的云盘，并将中转实例云盘数据制作成阿里云ECS镜像，具体原理请参见 ...
挂载NFS协议文件系统
如何处理多个ECS实例挂载同一NFS协议文件系统出现数据不同步的情况？相关文档 跨网络或账户访问文件系统 本地数据中心访问文件系统 使用POSIX ACL进行权限管理 使用NFSv4 ACL进行权限管理 通用型NAS备份 回收站 容灾备份
DB2数据源
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据同步系统和服务器端的网络交互次数，能够较大的提升数据抽取性能。说明 fetchSize 值过大（2048）可能造成数据同步进程OOM。否 1024 Writer脚本...
ClickHouse数据源
ClickHouse数据源为您提供读取和写入ClickHouse双向通道的功能，本文为您介绍DataWorks的ClickHouse数据同步的能力支持情况。支持的版本 支持阿里云ClickHouse的20.8、21.8内核版本。您需要确认驱动和您的ClickHouse服务之间的兼容能力，...
ApsaraDB For OceanBase数据源
数据同步前准备 在DataWorks上进行数据同步前，您需要参考本文提前在ApsaraDB For OceanBase侧进行数据同步环境准备，以便在DataWorks上进行ApsaraDB For OceanBase数据同步任务配置与执行时服务正常。以下为您介绍ApsaraDB For OceanBase...
DM（达梦）数据源
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据同步系统和服务器端的网络交互次数，能够提升数据抽取性能。说明 fetchSize 值过大（2048）可能造成数据同步进程OOM。否 1,024 Writer脚本Demo {...
离线同步日志分析
后置准备 系统将根据您的配置，将后置SQL下发数据库执行，但并非所有任务都存在后置准备：以MySQL Writer为例，若您任务的配置了PostSQL，即配置了数据同步执行后需要执行的SQL语句时，该SQL将在此阶段下发至数据库执行。PostSQL在数据库的...
ASP.NET程序网站如何在多个站点之间实现Session共享
服务器之间Session数据同步 假设Web服务器A是所有用户登录的服务器，那么当用户验证登录后，Session数据就会写到A服务器里，那么就可以自己写脚本或者守护进程来自动把Session数据同步到其他Web服务器，那么当用户跳转到其他服务器的时候，...
HttpFile数据源
DataWorks数据集成支持HttpFile数据源，可以通过HTTP协议下载文件并同步文件至目标数据源。使用限制 HttpFile数据源支持使用 Serverless资源组（推荐）和 独享数据集成资源组。支持的字段类型 数据类型 说明 STRING 文本类型。LONG 整数。...
新功能发布记录
2019-10-21 标签相关API 2019年9月 功能名称 功能描述 发布时间 相关文档 增量迁移功能发布 使用增量迁移可以在自定义的时间间隔内，将源服务器系统产生的增量数据同步至阿里云，有效减少源服务器系统业务暂停时间及最终交割时间。...
迁移指引
如果需要保证源服务器和数据完全同步，可以先将源服务器中的数据迁移至阿里云，然后使用增量迁移，在自定义的时间段内将源服务器系统产生的增量数据同步至阿里云。重要 如果您只需要迁移源服务器中的数据库数据，建议您使用阿里云数据传输...
使用rsync工具迁移数据
执行以下命令，将源文件系统中的存量数据同步到目标文件系统中。tmux sudo rsync-avP/mnt/volumeA/mnt/volumeB/您还可以利用rsync并发拷贝上传数据，命令如下。threads=线程数量;src=源路径/;dest=目标路径/;rsync-av-f"+*/"-f"-*"$src$...
启动和暂停数据同步任务
启动数据同步任务 创建数据同步任务时，如果在预检查完成后仅保存该数据同步任务，未进行启动，则需要在同步任务列表中手动启动数据同步任务。登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输 数据同步。在 同步任务列表 页面，...
数据同步流程
数据传输提供数据同步功能，帮助您实现数据源之间的数据实时同步。适用于数据异地多活、数据异地灾备、数据聚合和实时数据仓库等多种业务场景。您可以参考以下流程进行同步前的准备工作、以及购买、配置和管理数据同步任务。完成准备工作。...
重新配置数据同步作业
当您需要停止数据同步或重新配置数据同步时，您可以通过本文的方法来重置数据同步作业。前提条件 数据同步作业不处于 未配置 状态。费用影响 包年包月：无影响。按量付费：数据同步作业将转变为 未配置 状态并停止计费，再次完成数据同步...
建表并上传数据
将数据文件上传至OSS，使用数据集成功能将OSS的数据同步至MaxCompute表。上传数据至OSS，详情请参见 上传文件，同步OSS数据至MaxCompute表，详情请参见 通过向导模式配置离线同步任务。使用 数据分析 数据上传 功能。操作对象：支持分区表...
通过整库迁移配置集成任务
相对于离线单条管道，离线整库迁移可以批量配置离线管道，一次性完成数据库内多张数据表的同步文件的配置。操作步骤 在Dataphin首页，在顶部菜单栏选择 研发 数据集成。在顶部菜单栏，选择目标 项目。在左侧导航栏，选择 整库迁移 离线整库...
同步方案概览
全量数据同步 增量数据同步 单向同步 RDS MySQL同步至自建Oracle PolarDB-X 1.0 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至PolarDB-X 1.0 PolarDB-X 2.0 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至...
通过整库迁移配置集成任务
相对于离线单条管道，离线整库迁移可以批量配置离线管道，一次性完成数据库内多张数据表的同步文件的配置。操作步骤 在Dataphin首页，在顶部菜单栏选择 研发 数据集成。在顶部菜单栏，选择目标 项目。在左侧导航栏，选择 整库迁移 离线整库...
数据同步操作指导
数据同步功能可以帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。本文介绍数据同步功能的具体使用流程，帮助您快速掌握创建、...
查看数据同步任务的详情
启动数据同步任务后，您可以在数据同步任务的详情页面查看相应任务的基本信息、同步详情和同步对象等信息。进入详情页面 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输 数据同步。单击目标数据同步任务的名称，进入详情页面，...
混合云解决方案
分发单独放在一台服务器，其目的是解决publisher故障转移时，分发服务器可以提供持续同步数据到订阅服务器。发布（publisher）和分发（distributor）是放在用户本地，拥有自主权限。订阅（subscriber）放在RDS上，建议不要用高可用RDS实例...
概述
当在本地 PolarDB MySQL版 集群的Federated表上执行SQL时，通常会从本地 PolarDB MySQL版 集群插入数据文件，更新或删除数据文件的操作被发送到远程 PolarDB MySQL版 集群或社区MySQL服务器执行，在远程集群或服务器上更新数据文件或从远程...
结束数据同步作业
如果不再需要数据同步，您可以结束数据同步作业，停止将源库的数据变更同步至目标库。前提条件 数据同步作业处于 同步中、已暂停、同步失败、同步初始化中 或 同步初始化失败 状态。注意事项 结束数据同步作业后，数据同步作业将处于 已...
引用和清空数据同步任务配置
本文为您介绍如何引用和清空已有数据同步任务的配置。引用任务配置 重要 目前处于 未配置 状态的数据同步任务支持 引用配置 操作。登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输 数据同步。在 数据同步 页面，单击未配置的目标...
下载和导入同步对象配置
数据传输支持下载数据同步任务的同步对象配置信息，并支持通过导入 CSV 文件的方式实现自动配置和确认同步对象的配置信息，以实现保存任务配置信息和批量、快速配置任务。下载对象配置 新建数据同步任务后，您可以下载同步对象的配置信息。...
申请跨境数据同步权限
数据传输服务DTS（Data Transmission Service）默认仅支持非跨境的数据同步任务，若您需要创建跨境（跨国家或地区）的数据同步任务，需要申请开通跨境同步的权限。例如，创建从中国内地到非中国内地地域的同步任务时，需要申请跨境同步的...
上线离线数据同步任务
新增离线数据同步任务后，需对任务进行上线操作，同步任务上线后会按照创建同步任务中设置的调度周期执行。本文介绍如何上线离线数据同步任务。前提条件 已新增离线数据同步任务，具体操作，请参见 新增离线数据同步任务、批量新增离线数据...
上线离线数据同步任务
新增离线数据同步任务后，需对任务进行上线操作，同步任务上线后会按照创建同步任务中设置的调度周期执行。本文介绍如何上线离线数据同步任务。前提条件 已新增离线数据同步任务，具体操作，请参见 新增离线数据同步任务、批量新增离线数据...
- 产品推荐
- 这些文档可能帮助您