操作数据源权限

系统支持的权限类型包括:同步读 同步写 授权原因 填写授予数据源权限的原因。单击确定,完成数据源权限的授权。回收数据源权限 在数据源权限页面,单击需要回收数据源权限所在行操作列下的图标。根据数据源权限回收对话框提示,配置参数。...

常见问题排查

为什么OSS外表导入ORC、PARQUET等格式的数据,出现内存报错或OOM挂掉?如何处理导入数据报错:too many parts?为什么DataX导入速度慢?为什么Hive导入后其数据行数跟ClickHouse对不上?为什么Kafka导入后其数据行数跟ClickHouse对不上?...

使用回收

回收的功能是短暂保存被删除掉的数据库对象,它可以帮助您轻松查询和还原被删除的数据库对象。原理上,回收是一个数据字典表,被用来放置用户删除掉的数据库对象信息。这里的删除指的是操作 DROP,被 DELETE 操作删除的数据不会进入...

导出数据

原因类别 选择数据导出的原因,方便后续查找。业务背景 详细描述变更原因或目标,减少沟通成本。影响行数 输入SQL语法的预估影响行数。跳过校验 选择是否跳过校验,如果跳过校验请务必输入原因。相关人 设置的相关人员可查看工单,并协同...

名词解释

用户可以选择多个Mongos作为请求的入口,防止其中一个挂掉所有的MongoDB请求都无法操作。Shard MongoDB集群中的分片。单个Shard是由三节点的副本集组成,保证单个分片的高可用性,用户可以根据自己的应用性能及存储要求,购买多个Shard来...

多值数据写入

时序多值模型多值的模型是针对数据源建模,我们每一行数据针对的是一个数据源,它的被测量的多个指标在同一列上,所以每一个数据源,数据的来源在每一个时间点上都有一行,这就是多值的模型。比如某个机器的cpu,mem和load指标。每次是数据...

消除数据倾斜

消除数据倾斜 数据存储倾斜 数据存储倾斜出现的原因一般都是分布键选择不正确导致的。比如,一个表的某个字段的某些值特别多的时候,我们如果选择了这个字段按哈希分布,就会导致这个字段的这些值所在的segment上的数据比其他segment多很多...

数据库导出

数据管理DMS提供数据导出功能,您可以导出整个数据库或部分数据表,便于提取相关数据进行数据分析。前提条件 数据库类型如下:MySQL系列:自建MySQL、RDS MySQL、PolarDB MySQL、PolarDB-X、AnalyticDB MySQL、OceanBase MySQL SQL Server...

迁移时源库为PolarDB-X 2.0的注意事项及限制

如果迁移的源实例为PolarDB-X 2.0,您需要在配置具体的迁移任务前,参考本文的注意事项及限制,以保障数据迁移任务的正常运行。源库为PolarDB-X 2.0的迁移方案概览 根据如下迁移方案,查看迁移任务的注意事项及限制:PolarDB-X 2.0迁移至...

名词解释

消费时间点 消费时间点是指下游SDK消费掉的最新一条增量数据对应的时间戳。SDK每消费一条数据都会向DTS返回一个确认信息,DTS会更新并保存对应的消费时间点。当SDK由于异常问题重新启动后,DTS会自动地从最后的消费位点推送订阅数据

概述

数据源是物联网数据分析产品的基础,物联网数据分析的数据管道、数据存储、数据资产等功能都需依赖已存储备份的数据源。物联网数据分析提供了设备数据源和API数据源功能,您在物联网平台控制台的数据分析>数据源,配置和管理您的数据源...

节点编程任务

节点编程任务是通过拖拽节点的方式,建立设备数据输入与输出的关系,通过设置属性过滤数据,也可分流数据。下文介绍如何创建一个节点编程任务。操作步骤 登录数据分析控制台,在顶部导航栏上选择任务开发。在流数据任务开发页面,单击新建...

创建数据

数据管理DMS数据编排中,可以组合各类任务节点,形成数据流,通过周期调度运行达到数据加工、数据同步的目的。登录DMS数据管理服务。在顶部导航栏,选择传输与加工(DTS)。在左侧导航栏,选择数据编排。单击数据流名称,进入数据流详情...

普通数据变更

在工作中,存在大量场景例如项目发布上线数据初始化、历史数据清理、问题修复、测试等,需要对数据库中的数据进行更新操作。本文介绍DMS提供的数据变更功能,支持包括但不局限INSERT、UPDATE、DELETE、TRUNCATE等功能。前提条件 目标实例的...

数据迁移

本文为您介绍数据迁移的最佳实践,包含将其他业务平台的业务数据或日志数据迁移至MaxCompute,或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据,如果您的数据存放在传统的关系型数据库且数据量庞大...

什么是Dataphin

Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出,一式提供数据采、建、管、用全生命周期的大数据能力,以助力企业显著提升数据治理水平,构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin提供多种计算...

配置设备数据

配置设备数据源是分析设备数据的前提和基础,物联网数据分析的数据资产、数据可视化、数据API等功能均直接或间接依赖存储备份的数据源。本文介绍如何开启设备数据源的备份功能,以备份纺织品车间设备上报的数据。前提条件已完成设备上报...

数据膨胀优化

本文为您介绍产生数据膨胀的原因及处理措施。问题现象 在Logview中查看Fuxi Task的输出数据量比输入数据量大很多。输入、输出数据量可以通过Fuxi Task的I/O Record和I/O Bytes属性获取。如下图所示,输入数据量为1 GB,经过处理后输出数量...

数据页面管理

在管理数据页面中,数据的类型分为矢量、栅格和三维模型三种。...上传数据 管理数据页面中的数据类型有矢量、栅格和三维模型三大类,不同类型的数据可上传的数据格式互不相同,具体三种类型数据上传数据的详细说明请参见上传数据

写入数据

errorsArray描述引起写入失败直接原因的数组。其中只会包含第一个引发失败的数据点及其失败原因示例如下:{"errors":[{"datapoint":{"metric":"sys.cpu.nice","timestamp":1365465600,"value":"NaN","tags":{"host":"web01"} },"error":...

迁移时源库为SQL Server的注意事项及限制

如为增量迁移任务,DTS要求源数据库的数据日志保存24小时以上,如为全量迁移和增量迁移任务,DTS要求源数据库的数据日志至少保留7天以上(您可在全量迁移完成后将数据日志保存时间设置为24小时以上),否则DTS可能因无法获取数据日志而导致...

迁移时源库为Oracle的注意事项及限制

如果迁移的源数据库类型为自建Oracle,您需要在配置具体的迁移任务前,参考本文的注意事项及限制,以保障数据迁移任务的正常运行。源库为Oracle的迁移方案概览根据如下迁移方案,查看迁移任务的注意事项及限制:自建Oracle迁移至PolarDB O...

基于Delta lake的一数据湖构建与分析实战

数据湖作为一个集中化的数据存储仓库,支持的数据类型具有多样性,包括结构化、半 结构化以及非结构化的数据数据来源上包含数据数据、binglog 增量数据、日志数据以及已有数仓上的存量数据等。数据湖能够将这些不同来源、不同格式的...

应用场景

多云数据库统一管理 数据管理 DMS是一种集数据管理、结构管理、用户授权、安全审计、数据趋势、数据追踪于一体的数据管理服务。数据库网关与数据管理DMS搭配可为您提供高稳定性、低成本、统一的非阿里云数据库(例如本地IDC自建、其他友商...

迁移时源库为PolarDB MySQL的注意事项及限制

如果迁移的源集群为PolarDB MySQL,您需要在配置具体的迁移任务前,参考本文的注意事项及限制,以保障数据迁移任务的正常运行。源库为PolarDB MySQL的迁移方案概览根据如下迁移方案,查看迁移任务的注意事项及限制:PolarDB MySQL间的迁移 ...

数据迁移过程中预检查失败

检测项 检测内容 失败原因 解决方法 源库连接性检查 检查DTS服务是否能够连通要迁移的源数据库。数据库账号或数据库密码不正确。源数据库对来源IP进行了限制。源数据库服务器设置了防火墙。网络互通问题。源库连接性检查失败的修复方法 源...

概述

数据服务作为统一的数据服务出口,实现了数据的统一市场化管理,有效地降低数据开放门槛的同时,保障了数据开放的安全。背景信息 Dataphin数据服务旨在为企业搭建统一的数据服务总线,帮助企业提升数据资产的价值,同时保证了数据的可靠性...

配置数据可视化

本文介绍如何使用物联网数据分析的数据洞察功能,分析纺织品车间设备TH_sensor和Elec_instrument的时序数据,以掌握设备运行状况、从中发现生产改进机会。前提条件已在物联网数据分析的数据资产中,对相关产品和设备完成了原始指标导入、...

数据资产授权

数据安全中心(DSC)在检测数据源(OSS、RDS、RDS-PPAS、DRDS、PolarDB、表格存储OTS、ECS自建数据库、MaxCompute、ADB-PG、ADB-MYSQL、MongoDB、OceanBase、Redis)中存储的敏感数据之前,需要首先获取允许访问这几类云产品中指定数据的...

常见问题

可能原因:您的RDS数据库与流计算项目不在同一区域。解决方法:需要手动将流计算服务的白名单添加到RDS白名单中,详情请参见数据存储白名单配置。源表数据无法同步到目标表中。可能原因:源表的数据类型与目标表不一致,在进行类型转换时...

配置Hologres输入组件

输入过滤 配置Hologres输入组件读取数据时需要过滤掉的数据。例如,ID>112。输出字段 输出字段区域展示Hologres读取到数据表的字段。同时,您也可以通过以下方式,删除已读取的字段:单击操作列下的图标,删除字段。单击字段管理,在...

数据扫描和识别

支持扫描的数据源类型如下:阿里云数据库服务、自建数据库(结构化数据)阿里云MaxCompute项目(结构化数据)阿里云OSS对象存储文件(非结构化数据数据源授权完成后需要多长时间完成扫描?DSC完成数据源授权后,会在2小时内启动扫描。...

表回收

背景介绍PolarDB-X表回收提供针对误删表操作的数据恢复能力。开启PolarDB-X表回收功能后,通过DROP TABLE指令删除的表将被移动至表回收中不再可见,数据表移动至回收2小时后,即被自动清理,无法恢复。您可以在表回收中查看、...

产品功能FAQ

支持的数据库部署位置 有公网IP的自建数据库 无公网IP:Port的数据库(通过数据库网关DG接入)通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能...

数据上传下载

解决方法:您可以针对上述可能出现的原因进行排查,比如打印一些日志、在提交前打印一些当前Writer的状态与Session的状态。使用Tunnel Java SDK上传数据,上传的数据可以自动分配到各个分区吗?目前Tunnel是无法自动上传数据并自动分配到...

我是安全管理员

数据追踪 由于误操作等原因导致数据不符合预期时,可以通过数据追踪将数据快速恢复到正常状态。测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障数据离散型、提高生产效率。数仓开发 数仓开发以数据库为主要计算...

配置管理

提交数据变更时的原因分类。示例以及详情请参见附录:数据变更原因分类。数据变更的执行方式 取值:COMMITOR:表示审批通过后由提交者执行。AUTO:表示审批通过后自动执行。LAST_AUDITOR:表示由最后一个审批人执行。审批流的审批节点是否...

概述

数据湖构建可以帮助用户快速构建云上数据湖,采用统一的管理视角治理数据湖。在本产品在公测阶段,您需要申请公测资格,审批通过后即可使用本产品。用户使用流程数据湖构建将帮助您快速简洁抽取源数据到统一数据湖的服务,用户使用流程如下...

添加RDS for MySQL数据

但是由于VPC网络实现机制的原因,有时控制台显示的实例ID并不是DataV数据源配置VPC网络需要的实例ID。因此您需要通过数据库产品的OpenAPI获取DataV需要的VPC实例ID,通常为数据库实例详情中的VPCCloudInstanceId或VPCInstanceId,具体数据...

名词解释

数据源物联网数据分析是通过访问数据源的数据进行数据同步备份、数据查询分析、数据配置等操作。在物联网数据分析数据源包括设备数据源和API数据源。设备数据源设备数据源包含了设备上报的自定义Topic数据和物模型数据。API数据源通过API...
< 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 物联网无线连接服务 SSL证书 轻量应用服务器 块存储 商标
这些文档可能帮助您
规格查询导航 什么是数据库备份DBS 价格、收费项与计费方式 什么是云数据库RDS 为什么使用DBS备份 什么是云数据库Redis版

新品推荐

你可能感兴趣

热门推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折