数据质量保障原则

完整 完整性是指数据的记录和信息是否完整,是否存在数据缺失情况。数据缺失主要包括记录的缺失和具体某个字段信息的缺失,两者都会造成统计结果不准确。完整性是数据质量最基础的保障。例如,某个稳定业务的数据量每天约为100万条记录,...

数据质量教程概述

完整 完整性是指数据的记录和信息是否完整、不缺失。数据的缺失包括数据记录的缺失(表行数异常)和记录中某字段信息的缺失(字段出现空值)。在本教程中,您需要重点关注数据的生产环节(MaxCompute外部表引用的表格存储数据)和加工...

一致性级别

适用场景 PolarDB的一致性级别越高,对主库的压力越,集群性能也越低。推荐使用会话一致性,该级别对性能影响很小而且能满足绝多数应用场景的需求。全局一致性 功能介绍 在部分应用场景中,除了会话内部有逻辑上的因果依赖关系,会话...

产品优势

但不支持对同一个文件的高并发读写以及IO级的数据一致性保护。快照支持 支持文件级快照。保证文件级的数据一致性和灵活度。块级,无法确保文件级数据一致性。上层内核态文件系统,例如ext4等不支持快照。块级,无法确保文件级数据一致性。...

HTAP

但由于缺失多机并行查询加速能力和列存储等能力,无法满足对实时性计算和复杂查询都要求较高的在线业务场景,同时还面临着ETL(Extract-Transform-Loa)数据异步传输链路运维复杂度高、数据一致性和查询实时性无法严格保障等挑战。...

如何实现恢复数据一致性

数据库备份DBS提供全量备份、增量备份和数据恢复能力,本文介绍如何实现备份一致性,适用于逻辑备份方式,物理备份方式不在本文介绍范围内。工作原理针对逻辑备份方式,全量备份为了尽...增量备份 恢复数据一致性 已开启 支持 未开启 不支持

数据质量教程概述

完整 完整性是指数据的记录和信息是否完整、不缺失。数据的缺失包括数据记录的缺失(表行数异常)和记录中某字段信息的缺失(字段出现空值)。在本教程中,您需要重点关注数据的生产环节(MaxCompute外部表引用的表格存储数据)和加工...

一致分布式事务

另外,分布式数据库通常数据存储规模更大,对于备份恢复的一致性有更大的挑战。PolarDB-X在存储节点(DN)的数据和变更日志中都保存了分布式事务的全局时钟(包含了时间戳信息),任意时间点的数据恢复(PITR,point-in-time recovery)都...

代码评审报告

代码评审要求 用例小类 测试要点 说明 是否已检查 数据一致性测试 主键唯一性 产出表必须有物理主键或逻辑主键,且在数据上主键成立。是 主键和外键逻辑关系 检查设计文档里关于主外键的设计是否在开发阶段得以实现,且在数据上成立,例如...

查看逻辑表和物理表一致性

数据模型会随着业务需求进行优化和修改,通过查看逻辑表和物理表一致性能够快速对比逻辑表和物理表的一致性,以便及时更新物理表,保证逻辑模型和物理表的一致性。本文介绍如何查看逻辑表和物理表的一致性。前提条件已新建逻辑表,具体操作...

同步Redis后出现数据一致

已过期的数据也会被统计到expires中,因此,不能单靠expires去判断数据的一致性。对比A(源库keys数量减去expires后得到的数量)与B(目标库keys数量减去expires后得到的数量),若A和B的差值很小,则可判断数据一致。用redis-full-check...

数据同步拓扑介绍

单向同步 在单向同步的拓扑中,为保障同步数据的一致性,对目标实例中的同步对象应只进行读操作,请勿进行写操作。拓扑类型 拓扑图 说明 一对一单向同步 无 一对多单向同步 您需要购买多个同步实例来实现一对多单向同步。例如,从实例A同步...

PolarDB术语表

全局一致性(Global Consistency)全局一致性也叫强一致性,跨会话一致性,最高级别的一致性,可以保证跨Session的会话一致性,但会增加主库的负载,当复制延迟高时不适用。更多详情,请参见全局一致性。事务拆分(Distributed Transaction...

使用NimoFullCheck校验迁移数据的一致性

NimoFullCheck是阿里云自主研发的用于检验源端DynamoDB和目的端MongoDB数据一致性的工具。本文档介绍如何使用NimoFullCheck进行一致性校验。前提条件 您已通过NimoShake将DynamoDB迁移到阿里云数据库。详情请参见使用NimoShake将Amazon ...

功能介绍

功能原理 云原生数据仓库AnalyticDB PostgreSQL版通过集群的基础备份加日志备份,可以将集群恢复至指定历史时刻,并保证分布式集群状态与数据的一致性。基础备份:是指对数据库所有数据进行的一个完全拷贝。基础备份会将集群全量数据的快照...

一致性级别

因此备库的数据并不是最新的而是有延迟的,无法保证查询的一致性。为了解决第一个问题,PolarDB引入了读写分离代理功能。一般的实现是,代理会伪造成PolarDB与应用程序建立好连接,解析发送进来的每一条SQL,如果是UPDATE、DELETE、INSERT...

什么是云数据库Cassandra

但是,对于互联网业务有如下特点:极致在线、高并发、高存储、可调的一致性、灵活,MySQL并不是最佳选择,Cassandra为此而生。极致在线:架构支持单节点故障时,业务无影响(注:要求节点及数据副本均有冗余,配置Quorum读写一致性)。扩展...

数据质量概述

因为业务系统的原始数据的规范性无法得以保障,所以Dataphin需要定义数据分析的质量,以满足数据质量的时效性、准确完整性一致性、有效性,助您真正能够依赖数据进行经营决策。功能概述 数据质量支持多种数据表的质量校验、智能告警...

技术原理

全局Binlog不是将物理Binlog简单地汇总到一起,而是通过合并模块和归并模块保证了分布式事务的完整性和有序性,从而实现高数据一致性。例如,在转账场景下,基于全局Binlog能力,接入PolarDB-X 2.0的下游MySQL,可以在任何时刻查询到一致的...

全球分布式缓存使用限制

为保障实例的稳定和数据一致性,在使用全球分布式缓存功能时,有一些使用约束需要您注意。子实例新购限制 新增的子实例不能与分布式实例中已有的子实例属于同一可用区。子实例为性能增强型(本地盘版)。新增的子实例的规格必须与分布式...

数据库代理企业版发布预告

1个主地址+7个集群地址 1个主地址+7个集群地址 主从切换 闪断20~30秒 连接/事务不中断,短暂阻塞5~10秒 连接/事务不中断,短暂阻塞5~10秒 一致性 最终一致性 会话一致性 全局一致性 最终一致性 会话一致性 全局一致性 最终一致性 会话一致...

数据备份与恢复

数据备份和恢复是数据库必不可少的能力,PolarDB-X提供不同粒度的数据恢复能力,包括实例级的一致性备份恢复能力、表级的表回收站能力、SQL级的SQL闪回能力等。一致性备份恢复 一致性备份恢复提供实例级任意时间点(精确到秒级)的历史数据...

主备方案介绍

主备容灾:当云数据库HBase实例因不可预料的原因(例如设备故障、机房断电断网等)发生故障,容灾机制可用于保障数据的一致性和业务可用性。功能优势 主备双活:请求低毛刺。故障自动容错。资源利用率高。主备容灾:支持云数据库HBase、EMR...

术语表

数据查询一致性只读地址对外提供的查询一致性类型,分为强一致性和弱一致性。强一致性:可以查看到主实例上提交的最新数据,满足全局数据查询一致性。如果主备延迟过,提交的查询会等待;弱一致性:可以查看到当前只读实例上最新数据,...

技术架构

PolarDB-X的架构继承了DRDS和X-DB技术的稳定性,结合了PolarDB的云原生技术,融入了NewSQL对于分布式数据一致性的能力,为用户提供新的“云原生+分布式”的产品体验。整体架构 PolarDB-X的整体架构如下:部署架构 支持VPC、IP白名单、非...

参数配置

rds_master_mode 该参数用来配置AnalyticDB PostgreSQL版的一致性模式,仅在多Master模式下生效。Single:默认值,适用于单个Master节点的场景。multi_write_ec:会话一致性。针对同一个会话,满足单调读,单调写,写后读,读后写的一致性...

备份恢复

面向分库分表场景,保证单个RDS层面的数据一致性,但不保证数据的全局一致性。适用于日常业务常规备份恢复场景。一致性备份 面向分库分表场景,提供全局数据一致保证。备份恢复速度相对较慢。仅支持备份集恢复,不支持任意时间点恢复。仅...

三节点企业版

RDS MySQL 5.6三节点企业版利用闪回(Flashback)对未完成事务进行回滚,RDS MySQL 5.7和8.0的三节点企业版利用一致性协议控制事务的提交、回滚以及恢复(crash recover),确保集群数据的一致性。非主节点只回放已达成多数派的事务日志,...

配置数据库代理

一致性设置 一致性级别 读写模式为可读可写(自动读写分离)时,可选一致性级别有最终一致性(弱)、会话一致性(中)和全局一致性(强),详情请参见一致性级别。读写模式为只读时,默认一致性级别为最终一致性(弱)且不可更改。说明 ...

PolarDB-X简介

历经十余年淬炼,PolarDB-X具备了强数据一致性、高系统稳定性、快速集群弹性等核心关键特性,并在司法财税、交通物流、电力能源等公共事业领域有广泛深入应用。PolarDB-X坚定遵循自主可控、开放生态的发展思路,持续围绕MySQL开源生态构建...

同步时源库为Redis的注意事项及限制

且为保障数据一致性,建议重新配置任务前,先清空已同步至目标Redis的数据。同步期间,如自建Redis连接地址变化,则您需要提交工单进行处理,如果长时间未处理,自建Redis会重置AOF文件,届时您需重新配置任务。跨账号同步至云数据库Redis...

PolarDB PostgreSQL引擎一致性级别

因此备库的数据并不是最新的,无法保证查询的一致性。为了解决问题1,PolarDB引入了读写分离代理。代理会伪造成PostgreSQL与应用程序建立连接,解析发送进来的每一条SQL,如果是UPDATE、DELETE、INSERT、CREATE等写操作则直接发往主节点,...

概述

PolarDB数据库代理是位于数据库和应用程序之间的网络代理服务,用于代理应用程序访问数据库时的所有请求,具有高可用、高性能、可运维、简单易用等特点,支持自动读写分离、负载均衡、一致性级别、连接池等高级功能。您可以连接PolarDB集群...

迁移时源库为Redis的注意事项及限制

为实时保持数据一致性,建议选择全量数据迁移和增量数据迁移。其他限制 源数据库和目标数据库不支持云盘版架构的云数据库Redis实例。如果目标库的数据逐出策略(maxmemory-policy)配置为noeviction以外的值,可能导致目标库的数据与源库不...

读写一致性

在读的一致性上,HybridDB for MySQL提供两种数据可见性模式:最终一致性读 最终一致性读默认的读一致性模式,是高吞吐高性能写入模式,正常情况下可以做到毫秒级别的读延迟。强一致性读 日常不建议使用该读模式,除非对一致性有特殊要求的...

通过控制台创建应用一致性快照

类型 说明 实现方式 应用一致性快照 应用一致性快照在快照创建时刻备份内存数据及正在进行中的数据库事务,保证应用系统数据数据库事务的一致性。通过应用一致性快照,没有数据的损坏及丢失,避免数据库启动时日志回滚,确保应用处于一致...

技术架构

PolarDB-X的架构继承了DRDS和X-DB技术的稳定性,结合了PolarDB的云原生技术,融入了NewSQL对于分布式数据一致性的能力,为用户提供新的“云原生+分布式”的产品体验。整体架构 PolarDB-X的整体架构如下:核心组件 元数据服务(Global Meta ...

开启应用一致性备份功能

应用一致性备份在备份创建时刻备份内存数据及正在进行中的数据库事务,保证应用系统数据数据库事务的一致性。通过应用一致性备份,没有数据的损坏及丢失,避免数据库启动时日志恢复,确保应用处于一致性的启动状态。步骤一:为ECS实例...

PolarDB-X适用场景

产品能力PolarDB-X采用分布式线性扩展机制,在扩展过程中保持计算下推和数据一致性的同时实现业务零感知,结合流量控制能力进一步提升扩展过程的业务稳定性。同时PolarDB-X提供历史数据清理和归档能力,使庞大的数据存储成本得到有效控制。...

产品优势

NimoFullCheck 用于检验源端DynamoDB和目的端MongoDB数据一致性的工具。您可以使用该工具检验DynamoDB和阿里云数据库之间迁移数据的一致性,详情请参见使用NimoFullCheck校验迁移数据的一致性。云数据库专属集群MyBase支持 云数据库专属...
< 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 轻量应用服务器 商标 物联网无线连接服务 SSL证书 对象存储
这些文档可能帮助您
标准版-双副本 价格、收费项与计费方式 通过客户端程序连接Redis 企业版(Tair)简介 主实例规格列表 快速入门概览

新品推荐

你可能感兴趣

热门推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折