质量规则模板类型

实时多链路对比 高可用场景下,需要构建多条链路,以便数据出现异常时,能够及时切换。对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题,提升实时数据质量。稳定性 实时统计值检测 实时数据为指标值或可统计数据时...

质量规则模板类型

实时多链路对比 高可用场景下,需要构建多条链路,以便数据出现异常时,能够及时切换。对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题,提升实时数据质量。稳定性 实时统计值检测 实时数据为指标值或可统计数据时...

异常检测

及时发现数据库的异常问题是数据库日常运维的重点。数据库自治服务DAS提供异常检测功能,基于...相关文档 您可以利用DAS的自治功能,在数据出现异常时进行自动处理。自动SQL限流 自动SQL优化 自动性能扩展 自动空间扩展 空间碎片自动回收

企业版和标准版功能对比

自治服务开启后,DAS会在数据出现异常时,自动进行根因分析,给出优化或止损建议,并自动进行优化或止损操作(需经您授权后才会开启优化操作)。支持 支持 会话管理 PolarDB MySQL版 的一键诊断融合了DAS部分功能,您可以通过其中的会话...

实例告警

及时发现数据库异常是数据库日常运维的重要...当数据出现异常情况或达到预设的告警阈值时,系统会立即通知设定的告警联系人,以帮助您及时发现数据库异常并维护数据库的稳定性。操作步骤 为实例配置警规则和告警模板,详情请参见 配置告警。

查看并管理整改流程

或者历史任务中出现异常,但最新数据处理中已经用不到了,可以选择直接忽略。取消忽略:取消忽略后,将会按照最新一次校验结果确定问题状态。如果校验通过,问题状态是已解决;如果校验不通过,问题状态是未解决。重新校验:仅待处理、已...

查看并管理整改流程

或者历史任务中出现异常,但最新数据处理中已经用不到了,可以选择直接忽略。取消忽略:取消忽略后,将会按照最新一次校验结果确定问题状态。如果校验通过,问题状态是已解决;如果校验不通过,问题状态是未解决。重新校验:仅待处理、已...

查看并管理治理工作台

或者历史任务中出现异常,但最新数据处理中已经用不到了,可以选择直接忽略。取消忽略:取消忽略后,将会按照最新一次校验结果确定问题状态。如果校验通过,问题状态是已解决;如果校验不通过,问题状态是未解决。加入白名单:加入白名单...

实例告警

数据出现异常情况或达到预设的告警阈值时,系统会立即通知设定的告警联系人,以帮助您及时发现数据库异常并维护数据库的稳定性。操作步骤 登录 DAS控制台。在左侧导航栏中,单击 实例监控。找到目标实例,单击实例ID,进入目标实例详情...

常见问题

支持的数据库部署位置(接入方式)阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...

区域热力层(v2.x版本)

动作 动作 说明 请求地理边界geojson数据接口 重新请求服务端数据,上游数据处理节点或图层节点抛出的数据将作为参数。例如区域热力层配置了API数据源为 http://api.test ,传到 请求地理边界geojson数据接口 动作的数据为 { id:'1'},则...

梯形柱状图

请求梯形柱状图接口 重新请求服务端数据,上游数据处理节点或图层节点抛出的数据将作为参数。例如梯形柱状图配置了API数据源为 https://api.test ,传到 请求梯形柱状图接口 动作的数据为 { id:'1'},则最终请求接口为 ...

词云

动作 动作 说明 请求数据接口 重新请求服务端数据,上游数据处理节点或图层节点抛出的数据将作为参数。例如词云配置了API数据源为 https://api.test ,传到 请求数据接口 动作的数据为 { id:'1'},则最终请求接口为 https://api.test?id=1 ...

百分比条形图(v4.x版本)

动作 动作 说明 请求百分比条形图接口 重新请求服务端数据,上游数据处理节点或图层节点抛出的数据将作为参数。例如百分比条形图配置了API数据源为 https://api.test ,传到 请求百分比条形图接口 动作的数据为 { id:'1'},则最终请求接口...

区域热力层(v4.x版本)

请求数据接口 重新请求服务端数据,上游数据处理节点或图层节点抛出的数据将作为参数。例如区域热力层配置了API数据源为 https://api.test ,传到 请求数据接口 动作的数据为 { id:'1'},则最终请求接口为 https://api.test?id=1 。切换...

垂直分组柱状图

动作 动作 说明 请求垂直分组柱状图接口 重新请求服务端数据,上游数据处理节点或图层节点抛出的数据将作为参数。例如垂直分组柱状图配置了API数据源为 https://api.test ,传到 请求垂直分组柱状图接口 动作的数据为 { id:'1'},则最终...

常见错误处理方法

连接异常 连接异常即应用程序或者客户端与数据库的连接出现异常,例如已经创建的连接,提示连接不存在或连接超时,无法与数据库实例建立连接等。连接异常经常发生在网络闪断,或者数据库服务重启时,您需要在应用程序中就此类异常,添加重...

事务执行状态说明

已回滚:事务结束,事务执行的数据变更已回滚 异常 提交异常:一阶段结束,二阶段处理提交操作时出现异常 回滚异常:一阶段结束,二阶段处理回滚操作时出现异常 回查异常:一阶段结束,二阶段处理回查业务接口时出现异常

Delta Lake概述

而Delta简化了工作流程,整条数据处理过程是一条完整的、可靠的实时流,其数据的清洗、转换、特征化等操作都是流上的节点动作,无需对历史和实时数据分别处理。与开源Delta Lake对比 EMR-Delta Lake丰富了开源Delta Lake的特性,例如对SQL...

配置规则:按表(单表)

数据质量支持按照数据表配置质量监控规则,用来监控表数据是否符合要求,自动拦截问题任务,阻断脏数据向下游蔓延,保障产出的表数据符合预期。规则配置完成后,您可先试跑该规则,确保质量规则的配置符合预期。同时,还可对质量规则执行...

Iceberg概述

而Iceberg简化了工作流程,整个数据处理过程是一条完整的、可靠的实时流,其数据的清洗、转换和特征化等操作都是流上的节点动作,无需处理历史数据和实时数据。此外,Iceberg还支持原生的Python SDK,对于机器学习算法的开发者非常友好。

告警服务

数据出现异常情况或达到预设的告警阈值时,系统会立即通知设定的告警联系人,以帮助您及时发现数据库异常并维护数据库的稳定性。背景信息 了解以下概念,能帮助您更好地配置告警:告警规则:定义了触发告警的监控项、触发次数、告警...

实例画像

数据库自治服务DAS...单击 立即处理,进入 风险处理 页面,查看数据库实例各个维度的评分和诊断结果,当出现异常与缺陷时,系统将给出对应自治功能使用建议,单击 立即处理 跳转到自治功能页面,根据使用建议完成相关自治功能的配置。

组件参考:所有组件汇总

异常检测 局部异常因子异常检测 该组件是根据数据样本的局部异常因子值(Local Outlier Factor,LOF)判断样本是否异常。IForest异常检测 该组件使用sub-sampling算法,降低了算法的计算复杂度,可以识别数据中的异常点,在异常检测领域有...

实例画像

数据库自治服务DAS...单击 立即处理,进入 风险处理 页面,查看数据库实例各个维度的评分和诊断结果,当出现异常与缺陷时,系统将给出对应自治功能使用建议,单击 立即处理 跳转到自治功能页面,根据使用建议完成相关自治功能的配置。

运维中心入门

背景信息 DataWorks运维中心支持对周期任务、手动任务、实时同步任务等多种类型任务进行运维管理,并针对任务本身及任务执行使用的资源等各类对象提供多种监控方式,方便您根据监控报警及时发现并处理异常,保障数据生产的高效与稳定。...

实例画像

数据库自治服务DAS...单击 立即处理,进入 风险处理 页面,查看数据库实例各个维度的评分和诊断结果,当出现异常与缺陷时,系统将给出对应自治功能使用建议,单击 立即处理 跳转到自治功能页面,根据使用建议完成相关自治功能的配置。

添加处理数据数据管理

数据处理后,需要将处理后的数据添加到数据管理中,以便被用于数仓建设、标签管理等数据中台任务。本文以倾斜数据处理后为例,介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务,具体操作,请参见 新建数据处理任务。操作...

查看数据处理任务运维信息

您可以通过查看数据处理任务运维信息,快速定位任务失败的原因。本文以倾斜数据处理后为例,介绍如何查看数据处理任务运维信息。操作步骤 登录 数据资源平台控制台。在页面左上角,单击 图标,选择 协同。在顶部菜单栏,单击 图标,选择...

数据处理

数据处理类节点包括串行数据处理节点。本文介绍在蓝图编辑器中,配置数据处理类节点的方法。串行数据处理节点 串行数据处理 节点,是使用串行方式来处理一个事件。使用场景:例如,小数0.835要转换成整数百分比83%,可经过:单位转换(83.5...

CREATE MODEL

时序异常检测 TIME_SERIES_ANOMALY_DETECTION esd 达摩院自研算法,适用于尖刺型异常(例如监控曲线出现尖刺的现象),对于数据点中有少量显著离群点的情况,检测结果准确。详细信息,请参见 时序异常检测。nsigma 达摩院自研算法,原理...

模型创建

Lindorm AI引擎支持导入预训练AI模型,对数据库内的数据进行分析和处理或对时序数据进行建模,执行时序分析类任务。语法 CREATE MODEL model_name FROM {table_name|(select_statement)|model_file_path|huggingface_repo|modelscope_repo}...

数据导入常见问题

Broker Load导入HDFS数据时,数据的导入日期字段出现异常,比正确的日期时间多加了8小时,该如何处理?Broker Load导入ORC格式的数据时,报错“ErrorMsg:type:ETL_RUN_FAIL;msg:Cannot cast '<slot 6>' from VARCHAR to ARRAY(30)>”,该...

数据类型转换

平台上其他数据处理组件。按照平台组件开发的自定义组件。OUT端口-输出参数 参数名 参数描述 输出数据类型 输出 输出类型转换后的转换变量。与选择的转换类型一致 其他参数 参数名 参数描述 是否必填 参数默认值 参数范围 转换类型 选择要...

配置学区地图单选框交互

在连线中添加两个 串行数据处理 节点,分别命名为 小学 和 初中。具体操作方法请参见 配置蓝图编辑器。按照以下说明继续添加其他连线和 串行数据处理 节点。将 小学 的 串行数据处理 节点分别与 民办小学 的 显示 和 隐藏 动作连线。在每条...

配置学区地图单选框交互

在连线中添加两个 串行数据处理 节点,分别命名为 小学 和 初中。具体操作方法请参见 配置蓝图编辑器。按照以下说明继续添加其他连线和 串行数据处理 节点。将 小学 的 串行数据处理 节点分别与 民办小学 的 显示 和 隐藏 动作连线。在每条...

新建数据处理任务

系统提供数据处理能力,包括倾斜数据处理、地形数据处理、三维模型处理、影像优化处理。本文以新建倾斜数据处理任务为例,介绍如何新建数据处理任务。前提条件 已添加空间元数据,具体操作,请参见 添加数据。已添加OSS类型云计算资源。...

为什么实例会发生主备切换?

宿主机下线:云数据库MongoDB实例中节点所在的机器出现异常,可能会影响实例的正常使用。系统会将机器进行下线处理,并触发主备切换,替换掉存在风险的节点。实例异常:阿里云检测到实例发生故障,无法正常使用时,系统会立即触发主备切换...

基于Client SDK数据写入

错误码名 错误码值 描述 COMMIT_ERROR_DATA_LIST 101 commit中某些数据出现异常,会返回异常的数据。说明 通过 e.getErrData()即可获得异常数据List,此错误码在 addMap(s)、addRow(s)、commit 操作的时候都可能会发生,因此在这些操作的...

Hadoop DistCp介绍

Hadoop DistCp(分布式复制)是一个用于大型集群间或集群内数据复制的工具,通过MapReduce实现复制过程中数据的分发、错误处理、恢复及报告。本文为您介绍Hadoop DistCp与Jindo DistCp的区别、Hadoop DistCp使用方法以及常见问题。说明 ...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 数据传输服务 云数据库 Redis 版 数据库备份 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用