使用DML插入、更新、删除数据
本文介绍在AnalyticDB PostgreSQL数据库中，如何使用DML语法插入、更新、删除数据。插入行（INSERT）说明 如果要插入大量数据，推荐使用外部表或者COPY命令，相比INSERT性能更好。使用INSERT命令在一个表中插入行。语法如下：INSERT INTO ...
测试分析及调优
大量关联操作 大数据量插入 一次次插入 产生大量日志，消耗资源 锁 锁等待 update account set banlance=100 where id=10 产生表级锁，将会锁住整个表 死锁 A:update a;update b;B:update b;update a;将会产生死锁 游标 Cursor Open cursor...
使用说明
PolarDB高压缩引擎（X-Engine）使用X-Engine代替了InnoDB作为默认存储引擎，具有较高的数据压缩率，非常适合对计算诉求不高但需要存储一些归档类数据（如钉钉消息等数据）的业务。本文介绍PolarDB高压缩引擎（X-Engine）相关的使用说明。...
X-Engine引擎使用须知
用户开启一个事务插入大量数据，在插入的过程中，由于先提交了一部分数据，其它请求就可以访问到插入的数据。用户开启一个事务修改大量数据，回滚的时候，已经执行了commit in middle的事务无法回滚。drop table t1;create table t1(c1 int...
Dataphin管道任务中需要同步大量数据时内存设置上限
概述 描述管道任务中需要同步大量数据时内存设置上限的方法。用户通过管道任务要将大量的文件进行同步，这个内存要如何调整？详细信息 在管道任务的通道配置中，JVM配置...当管道任务同步数据较多时，可以JVM设置较大的内存。适用于 Dataphin
消费-计量计费日志
数据量大应如何解决 在一些计费场景下（例如运营商、IoT等），计量日志量会很大（例如十万亿，数据量为每天2PB），折算压缩数据后一小时有16TB，以万兆网络读取需要1600秒，已不能满足快速出账单需求。控制产生的计费数据量 对于产生计量...
何时选择LIST DEFAULT HASH分区
例如，对于多租户的业务系统，每个租户产生的用户数据量不均衡，您可以把大数据量的租户按照LIST规则分区，然后中小数据量的租户按照HASH规则分成多个分区，如下： 租户ID 数据量 分区 大客户1 3000万 p1 大客户2 2600万 p2 大客户3 2400万...
大数据用户画像解决方案
用户画像数据具有如下特征：数据量大、高并发读写、明细数据需要归档、大数据量回流、有动态列需求、查询种类多而且复杂。方案总览作为面向大数据场景的半结构化、结构化存储系统，Lindorm可以很好的满足用户画像：没有强事务要求，大数据...
我的程序要并发访问大量共享数据，该如何设计？
如果有大量共享数据需要并发访问，可以把数据存放在阿里云 OSS 或者 NAS 上，并且用InputMapping 的方式挂载访问。BatchCompute 会在访问的节点间自动建立起分布式缓存，可以大幅提升 OSS 和 NAS 的并发访问效率。
OSS Foreign Table功能概览
Table导入OSS数据或导出数据到OSS支持支持OSS数据分析（大数据量场景）大数据量场景的数据分析性能优于OSS External Table。大数据量场景的数据分析性能可能无法达到预期。支持的文件格式支持如下文件格式：AVROORCPARQUETJSON（支持GZIP...
Query级别诊断结果
MySQL版SQL诊断的Stage层或算子层执行计划中的统计信息区域查看对应Stage扫描行数、扫描量，或TableScan算子的输入行数和输入大小来判断Stage和TableScan算子的扫描数据量。更多详情，请参见Stage统计信息和算子统计信息。找到扫描数据量较...
应用场景
云数据库Cassandra可以支持数百个节点的集群规模，适合大数据量的存储。在一些需要应用大量数据对用户行为进行分析的场景中，可以通过整合多种数据来源，存储用户行为数据，构建用户画像，实时存储在Cassandra中，提供大数据风控、推荐等...
流量诊断
本文介绍如何通过集群管理系统查看表流量信息和表异常流量检测结果。背景信息 在实际使用数据库的过程中，会存在文件数过多导致请求时延变长的情况。同时，流量分布不均匀的问题导致部分节点负载过高并出现热点，进一步造成系统卡顿，影响...
流量诊断
本文介绍如何通过集群管理系统查看表流量信息和表异常流量检测结果。背景信息在实际使用数据库的过程中，会存在文件数过多导致请求时延变长的情况。同时，流量分布不均匀的问题导致部分节点负载过高并出现热点，进一步造成系统卡顿，影响...
批量导出与导入
如需导入大量数据，请使用导数工具 OBLOADER。对导出的数据，最大支持导出 2GB 的数据（压缩前），超出部分无法导出。如需导出大量数据，请使用导数工具 OBDUMPER。服务器上文件保留时间任务的状态（成功，失败，取消等）不影响文件的生命...
ECS实例说明
大数据型 使用本地SATA盘作存储数据，存储性价比高，是大数据量（TB级别的数据量）场景下的推荐机型。说明 Hadoop、Data Science、Dataflow和Druid类型的集群支持Core节点；Zookeeper和Kafka类型的集群不支持Core节点。本地SSD型 使用本地...
ECS实例说明
大数据型 使用本地SATA盘作存储数据，存储性价比高，是大数据量（TB级别的数据量）场景下的推荐机型。说明 Hadoop、Data Science、Dataflow和Druid类型的集群支持Core节点；Zookeeper和Kafka类型的集群不支持Core节点。本地SSD型 使用本地...
概述
MySQL引擎通过并行查询实现对复杂查询和大数据量查询的加速和优化。关于并行查询的介绍请参见弹性并行查询。本章节描述了并行查询中，对一些复杂分析算子的并行策略和性能增强方法，包括以下内容： Hash Join的并行执行 Semi-Join的并行...
聚合支付方案
随着数据量的增大，数据查询涉及的量级呈指数级上升，针对商户等大数据量场景的分析查询，单体MySQL已无法满足需求。解决方案阿里云通过多款云数据库产品为利楚扫呗制定以下解决方案：方案解读：使用DRDS分库分表将数据库进行水平拆分，...
MySQL 5.6测试结果
磁盘I/O型：适用于数据量大的场景，只将最常访问的数据放入Buffer Pool进行存取，压测时会读写磁盘以及更新Buffer Pool。场景一：内存命中型 规格 单表数据量 表数量 最大连接数 IOPS Sysbench线程数 Sysbench读取（单位：次）SysBench写入...
MySQL 5.7测试结果
磁盘I/O型：适用于数据量大的场景，只将最常访问的数据放入Buffer Pool进行存取，压测时会读写磁盘以及更新Buffer Pool。场景一：内存命中型 规格 单表数据量 表数量 最大连接数 IOPS Sysbench线程数 Sysbench读取（单位：次）SysBench写入...
数据导入优化建议
SELECT做批量导入：批量导入适合大数据量导入，性能较好。批量导入适合数据仓库语义，即导入过程中旧数据可查询，导入完成一键切换新数据。如果导入失败，新数据会回滚，不影响旧数据的查询。从RDS、MySQL、HybridDB for MySQL等导入...
表引擎
系列 描述 表引擎 特点 MergeTree MergeTree系列引擎适用于高负载任务，支持大数据量的快速写入并进行后续的数据处理，通用程度高且功能强大。该系列引擎的共同特点是支持数据副本、分区、数据采样等特性。MergeTree 用于插入极大量的数据...
技术发展趋势
随着8K、5G、IoT、大数据、AI等系列技术的发展，数据量迎来了爆发式增长。IDC在《Data Age 2025》的报告中预测，从2018年到2025年，全球数据将从33ZB急速增长到175ZB，比2016年产生的数据量增加了十倍。这表明注重数据价值的时代已经来临，...
MySQL 8.0测试结果
磁盘I/O型：适用于数据量大的场景，只将最常访问的数据放入Buffer Pool进行存取，压测时会读写磁盘以及更新Buffer Pool。场景一：内存命中型 规格 单表数据量 表数量 最大连接数 IOPS Sysbench线程数 Sysbench读取（单位：次）SysBench写入...
如何选择分片数
本文将介绍如何为PolarDB-X 1.0中选择分片数（即水平拆分时的物理分表数）。背景信息 PolarDB-X 1.0中的水平拆分包含了分库和分表两个层次。若您在创建数据库时，选择拆分模式为水平拆分，则PolarDB-X 1.0为默认为每个私有定制RDS实例创建8...
使用数据实验室
在分布模型中所确定的数据量的基础上，随机选择某些周期，在这些周期内的数据量会出现异常变化，您可以指定出现异常点的概率和异常点数据量变化的倍率。您可以配置多个异常选项，每个数据周期最多出现一个异常点，优先模拟排在第一个的异常...
PolarDB MySQL引擎8.0.1版本高压缩引擎（X-Engine）与...
MySQL引擎高压缩引擎（X-Engine）使用阿里云自研存储引擎X-Engine，具备了强大的数据压缩能力，能够满足归档数据库低存储成本的要求，适合大数据量归档存储的场景。经阿里巴巴内部使用高压缩引擎（X-Engine）的业务验证，在相同原始数据量...
快照备份
MyBase SQL Server实例支持快照备份，相对于常规的物理备份方式，极大程度上提高了备份速度和支持的最大备份数据量。前提条件 实例存储类型为云盘。备份模式 对比项 物理备份 快照备份 备份速度 较快。不同的实例规格有所区别。极快。约两...
概述
存储格式 数据来源及特点 数据量增大或减少 详细数据量 JSON 大量应用产生JSON类型的数据，冗余数据量大。增大151.7%3.02GB AVRO Hadoop生态格式的数据，数据由大部分遗留系统产生。增大8.3%1.3GB RCFile Hadoop生态格式的数据，数据由大...
基于混合负载的查询优化
Batch模式：采用批计算架构，通过DAG进行任务切分，分批调度，满足有限资源下大数据量计算，支持计算数据落盘，适用于计算量大，吞吐高的复杂分析场景。资源池混合负载隔离 AnalyticDB MySQL版弹性版本支持资源池多租户隔离。通过一个实例...
使用数据库实现读写流量路由
MSE提供一种数据库访问的读写流量路由的方案，您可以在不需要修改业务代码的情况下，基于此功能实现数据库 读写分离 本文介绍如何开启数据库读写流量路由和配置读写流量路由规则。前提条件 将ACK微服务应用接入MSE治理中心。背景信息 读写...
什么是云数据库HBase
结合完备的工具服务，丰富的生态融合，一站式高效满足企业在大数据量场景下的存储、检索、分析需求，是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景的数据库。代表场景 类型 存储对象 引擎接口 优势 社交分发或聊天信息等 ...
Quick BI仪表板加载过程中浏览器崩溃
问题原因 可能是数据量返回过大，导致当前机器可用内存不足，浏览器崩溃。解决方案 因为Chrome运行会占用大量的内存资源，所以建议在该场景下，关闭不必要的浏览器页面。针对数据量大的场景，可以配置分页展示，或者使用新交叉表。适用于 ...
数据变更最佳实践
批量和实时导入数据 批量导入：适用于大数据量导入的场景，导入过程中可以查询旧数据，导入操作完成后一键切换新数据。导入失败时，支持回滚新数据，不影响查询旧数据。例如，从MaxCompute、OSS中导入数据到AnalyticDB MySQL版时，推荐使用...
坐席报表
支持快速按时间筛选或者自定义时间范围支持客服所属技能组字段，同时支持筛选支持按用户名/姓名搜索支持自定义选择展示/隐藏表头字段可对坐席、外呼、呼入电话详细数据的表单单独查看，多达30+个字段下载报表，当大数据量下载...
PyODPS节点实现避免将数据下载到本地
通常，可以调用head、tail方法返回少量数据进行数据探查，当数据量较大时，建议调用Persisit方法，将数据直接保存在MaxCompute表中。详情请参见执行。在表或SQL实例上直接执行Open_reader方法获取表数据。当数据量大时，建议使用PyODPS ...
开启冷数据归档
本文介绍了如何开启冷数据归档功能，以及查看开启该功能后OSS中冷数据的归档信息。前提条件 产品系列需为集群版（2-16个节点）【推荐】...成功开启冷数据归档功能后，您可以在冷数据归档页面，查看存储在OSS上冷数据的数据量大小和库表信息。
快照备份
RDS SQL Server实例各个规格已支持快照备份，相对于常规的物理备份方式，极大程度上提高了备份速度和支持的最大备份数据量。前提条件 实例存储类型为云盘。实例系列为基础版、高可用版时，实例需未开启跨地域备份功能。如已开启，请关闭跨...
典型慢查询
MySQL会对左右两表执行笛卡尔积运算，产生的数据量行数是左右两表数据行数的乘积，该类操作会导致消耗较大的CPU资源。消耗磁盘I/O的慢查询 查询的扫描行数（Scanned Rows）和扫描量（Amount of Scanned Data）可以帮助您评估磁盘I/O资源的...
- 产品推荐
- 这些文档可能帮助您
