Kafka实时入湖

数据预处理 Kafka实时入湖提供了数据预处理功能对Kafka数据在入湖前进行处理,目前需要用户自定义预处理算子实现。Kafka默认字段列表 在使用数据预处理功能之前,我们需要清楚Kafka入湖过程中目标schema包含哪些字段,字段列表如下。字段 ...

联邦建模概述

联邦数据处理:对联邦表中的数据进行预处理,包括数据预处理和预处理应用。模型训练:使用预处理过的训练集数据训练模型。模型评估:使用预处理过的测试集数据评估模型效果。典型的模型开发业务逻辑如下图所示,其中,离线样本生成的三种...

任务配置

数据预处理 数据预处理节点的构建流程如下:将系统节点列表中的“数据预处理”节点拖拽至画布。配置节点属性。其中,关键参数说明如下:数据预处理算子名称:选择所需算子;可选项为您自定义的或平台自带的数据预处理算子(可在“数据定义>...

数据准备与预处理

step3:数据预处理 本示例使用的原始数据为公开的心脏病案例的数据,数据预处理以将所有字段取值归一化为例,为您展示数据预处理的步骤。本示例的数据预处理主要包括三个处理流程:将原始数据表中,取值为非数值类型的字段,通过SQL替换为...

数据集成概述

数据集成是基于Dataphin构建的简单高效的数据同步平台,致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用,数据集成会有很多的诉求,包括能够简单高效的配置大量...

数据集成概述

数据集成是基于Dataphin构建的简单高效的数据同步平台,致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用,数据集成会有很多的诉求,包括能够简单高效的配置大量...

数据解析概述

物联网平台的数据服务提供数据解析功能,通过数据解析对设备数据或导入的API数据源的数据进行解析和预处理后,将数据流转到业务服务器,或以表的形式存储于物联网平台。功能说明 您可在物联网平台控制台的 数据服务>数据解析 页面,创建和...

导入概述

异步导入 Spark Load 通过外部的Spark资源实现对导入数据预处理,提高StarRocks大数据量的导入性能并且节省StarRocks集群的计算资源。Spark Load是一种异步导入方式,需要通过MySQL协议创建导入作业,并通过 SHOW LOAD 查看导入结果。...

概览

ResourceProperties":{"key1":"string","key2":["list"],"key3":{"key4":"map"} } } custom resource provider处理ROS请求并向签名URL返回SUCCESS或FAILED响应。custom resource provider提供采用JSON格式数据响应URL。在响应中,custom...

PolarDB PostgreSQL版间的迁移

目标已存在表的处理模式 检查并报错拦截:检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表,则通过该检查项目;如果目标数据库中有同名的表,则在检查阶段提示错误,数据同步任务不会被启动。说明 如果目标库中同名的表...

什么是ETL

离线数仓加速:通过流数据处理先将数据预处理至数仓,后续再对数仓数据进行深度挖掘。既不影响业务库运行,也能满足离线数仓对外服务。报表提速:构建实时报表体系,不仅大幅提升报表产出效率,还能支持更多实时分析场景,满足了企业数字化...

预处理规则管理

查看预处理规则详细信息 在预处理规则列表中,单击预处理规则名称链接,即可查看该预处理规则的详细信息,包括该预处理规则在各节点中的存储地址、预处理配置和关联的任务等信息。基本信息 在预处理规则的 基本信息 页签下,可以查看预处理...

产品架构

其基于数据自动分区+分区多副本+LSM的架构思想,具备全局二级索引、多维检索、动态列、TTL等查询处理能力,支持单表百万亿行规模、高并发、毫秒级响应、跨机房强一致容灾,高效满足业务大规模数据的在线存储与查询需求。面向海量半结构化、...

PolarDB MySQL版迁移至云数据库SelectDB版

数据库SelectDB版支持亚秒级响应海量数据查询、万级高并发点查询以及高吞吐复杂分析。数据传输服务DTS(Data Transmission Service)可以帮助您将 PolarDB MySQL版 集群迁移至云数据库SelectDB版,满足您的海量数据分析需求。前提条件 已...

RDS MySQL迁移至云数据库SelectDB版

数据库SelectDB版支持亚秒级响应海量数据查询、万级高并发点查询以及高吞吐复杂分析。数据传输服务DTS(Data Transmission Service)可以帮助您将MySQL数据库(例如自建MySQL或RDS MySQL)迁移至云数据库SelectDB版,满足您的海量数据...

云数据库MongoDB版(副本集架构)间的双向同步

目标已存在表的处理模式 检查并报错拦截:检查目标数据库中是否有同名的集合。如果目标数据库中没有同名的集合,则通过该检查项目;如果目标数据库中有同名的集合,则在检查阶段提示错误,数据同步任务不会被启动。说明 如果目标库中...

常见报错

报错概览 配置备份计划时常见报错 源库测试连接失败 备份恢复检查时常见报错 源库连接性检查失败 数据库权限检查失败 OSS检查失败 源库binlog开启检查失败 源库binlog模式检查失败 源库binlog_row_image是否为FULL检查失败 源库server_id...

云数据库MongoDB版(分片集群架构)间的双向同步

数据传输服务DTS(Data Transmission Service)支持 云数据库MongoDB版(分片集群架构)间的双向同步,适用于异地多活(单元化)、数据异地容灾等多种应用场景。本文介绍双向数据同步的配置步骤。前提条件 已创建源和目标 云数据库MongoDB...

自建Oracle同步至云原生数据仓库AnalyticDB ...

目标已存在表的处理模式 检查并报错拦截:检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表,则通过该检查项目;如果目标数据库中有同名的表,则在检查阶段提示错误,数据同步任务不会被启动。说明 如果目标库中同名的表...

Db2 for LUW同步至AnalyticDB MySQL版 3.0

说明 如为增量同步任务,DTS要求源数据库的数据日志保存24小时以上,如为全量同步和增量同步任务,DTS要求源数据库的数据日志至少保留7天以上(您可在全量同步完成后将数据日志保存时间设置为24小时以上),否则DTS可能因无法获取数据日志...

通过DTS导入数据

DTS支持迁移全量数据及增量数据,您可以通过DTS迁移MySQL数据库(例如自建MySQL、RDS MySQL和PolarDB MySQL)同步或迁移至 云数据库 SelectDB 版,并在 云数据库 SelectDB 版 上完成亚秒级响应海量数据查询、万级高并发点查询以及高吞吐...

PolarDB-X 1.0同步至云原生数据仓库 AnalyticDB MySQL...

本文介绍如何使用数据传输服务DTS(Data Transmission Service),将 PolarDB-X 1.0 同步至 云原生数据仓库AnalyticDB MySQL版 3.0,实现增量数据的实时同步。前提条件 已创建 PolarDB-X 1.0,如创建请参见 创建实例 和 创建数据库。说明...

PolarDB MySQL版同步至云数据库SelectDB版

数据库SelectDB版支持亚秒级响应海量数据查询、万级高并发点查询以及高吞吐复杂分析。数据传输服务DTS(Data Transmission Service)可以帮助您将 PolarDB MySQL版 集群同步至云数据库SelectDB版,满足您的海量数据分析需求。前提条件 已...

RDS MySQL同步至AnalyticDB MySQL 3.0

目标已存在表的处理模式 检查并报错拦截:检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表,则通过该检查项目;如果目标数据库中有同名的表,则在检查阶段提示错误,数据同步任务不会被启动。说明 如果目标库中同名的表...

RDS MySQL同步至云数据库SelectDB版

数据库SelectDB版支持亚秒级响应海量数据查询、万级高并发点查询以及高吞吐复杂分析。数据传输服务DTS(Data Transmission Service)可以帮助您将MySQL数据库(例如自建MySQL或RDS MySQL)同步至云数据库SelectDB版,满足您的海量数据...

MySQL实例间的双向同步

目标已存在表的处理模式 检查并报错拦截:检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表,则通过该检查项目;如果目标数据库中有同名的表,则在检查阶段提示错误,数据同步任务不会被启动。说明 如果目标库中同名的表...

MySQL实例间的双向同步

目标已存在表的处理模式 检查并报错拦截:检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表,则通过该检查项目;如果目标数据库中有同名的表,则在检查阶段提示错误,数据同步任务不会被启动。说明 如果目标库中同名的表...

PolarDB PostgreSQL版(兼容Oracle)集群间的双向同步

目标已存在表的处理模式 检查并报错拦截:检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表,则通过该检查项目;如果目标数据库中有同名的表,则在检查阶段提示错误,数据同步任务不会被启动。说明 如果目标库中同名的表...

云数据库MongoDB版(分片集群架构)间的双向同步

目标已存在表的处理模式 检查并报错拦截:检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表,则通过该检查项目;如果目标数据库中有同名的表,则在检查阶段提示错误,数据同步任务不会被启动。说明 如果目标库中同名的表...

RDS MySQL与PolarDB MySQL版间的双向同步

目标已存在表的处理模式 检查并报错拦截:检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表,则通过该检查项目;如果目标数据库中有同名的表,则在检查阶段提示错误,数据同步任务不会被启动。说明 如果目标库中同名的表...

如何恢复数据到其它数据库实例

数据库备份DBS 支持恢复已有备份数据到源备份数据库实例上,同时也支持恢复到其它已有数据库实例上,包括RDS实例、ECS上的自建数据库等,可用于误操作后恢复以及分析历史数据等场景。本文以恢复到已有RDS实例为例介绍恢复操作。前提条件 已...

区域下钻热力层(v2.x版本)

当自定义区域数据请求失败时 自定义区域数据接口请求失败时(请求失败的情况可能是:网络问题或接口报错等)返回并经过过滤器处理后抛出的事件,同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页...

数据预处理

对于文本数据而言,通常文本数据里面会含有很多跟任务无关的噪音,这时应该进行文本的预处理。在NLP自学习平台内置了一些预处理规则,如果您觉得有必要进行预处理,可以选择这些规则。我们内置的规则包括:去除 URL 链接;去除 emoji 表情...

云原生内存数据库Tair间的双向同步

数据传输服务DTS(Data Transmission Service)支持Redis企业版(Tair)实例或Tair(云盘版)实例间的双向同步,适用于异地多活、数据容灾等多种应用场景,本文介绍数据同步任务的配置流程。前提条件 已创建源库目标Redis企业版(Tair)...

Db2 for LUW迁移至PolarDB MySQL版

如为增量迁移任务,DTS要求源数据库的数据日志保存24小时以上,如为全量迁移和增量迁移任务,DTS要求源数据库的数据日志至少保留7天以上(您可在全量迁移完成后将数据日志保存时间设置为24小时以上),否则DTS可能因无法获取数据日志而导致...

自建Oracle同步至PolarDB MySQL版

数据传输服务DTS(Data Transmission Service)支持将自建Oracle同步至 PolarDB MySQL版 集群,可以实现在本地应用不停服的情况下,平滑地完成Oracle数据库的数据同步。前提条件 已创建存储空间大于源自建Oracle的目标 PolarDB MySQL版 ...

从自建Redis迁移至阿里云Redis

本文介绍如何使用数据传输服务DTS(Data Transmission Service),将自建Redis迁移至阿里云Redis实例。DTS支持全量数据迁移以及增量数据迁移,同时使用这两种迁移类型可以实现在自建应用不停服的情况下,平滑地完成自建Redis数据库的迁移...

PolarDB MySQL版迁移至RDS MySQL

目标已存在表的处理模式 检查并报错拦截:检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表,则通过该检查项目;如果目标数据库中有同名的表,则在检查阶段提示错误,数据迁移任务不会被启动。说明 如果目标库中同名的表...

RDS MySQL实例间的同步

目标已存在表的处理模式 检查并报错拦截:检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表,则通过该检查项目;如果目标数据库中有同名的表,则在检查阶段提示错误,数据同步任务不会被启动。说明 如果目标库中同名的表...

RDS MySQL同步至云原生数据仓库 AnalyticDB ...

目标已存在表的处理模式 检查并报错拦截:检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表,则通过该检查项目;如果目标数据库中有同名的表,则在检查阶段提示错误,数据同步任务不会被启动。说明 如果目标库中同名的表...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 Redis 版 云数据库 RDS 数据库备份 数据传输服务 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用