分区表常见问题
使用分区表数据量没有下限，空表也可建分区表，但数据量太少没必要分区，一般普通表大于500 MB可以选择使用分区表。当单分区数据量超过64 TB（与单个普通表一致），最大分区数超过8192时不适合使用分区表。建议单表数据量超过1 TB或者1亿行...
互联网服务：小打卡
在单机RDS的情况下，由于单表数据量大，会出现读性能瓶颈导致APP卡顿甚至崩溃。基于 PolarDB-X+RDS的分布式数据库解决方案能在表拆分成小的物理表后，提供海量数据平稳高并发读能力，保证了客户核心业务的稳定性和高性能。小打卡的圈子打卡...
常见问题
分区索引的适用场景：单表数据量较大，例如超过10亿，或查询RT和查询QPS无法满足要求时，推荐您使用分区索引。分区索引主要由HASH分区、时间分区或HASH分区和时间分区的组合组成，您可以根据以下场景和建议合理设置分区索引：业务数据有...
RDS外部表
当您需要向RDS外部表写入大量数据时，采用并行多进程写入方式，会小概率出现某个写入进程数据重写情况，导致数据重复。MaxCompute里建的RDS外部表，其中DECIMAL数据类型默认小数18位，不能修改，只能建成 decimal(38,18)。如果小数位数比较...
数据扫描和识别
当存在大量数据表时（例如：表数量超过10000张），或者OSS文件总量特别大（例如：OSS总量超过PB）时，扫描周期会相应延长。在 DSC 扫描数据的过程中，已经完成扫描的阶段性结果，会在 数据安全中心控制台 概览 页面展现。更多信息，请参见 ...
MySQL 5.6测试结果
场景一：内存命中型 规格 单表数据量 表数量 最大连接数 IOPS Sysbench线程数 Sysbench读取（单位：次）SysBench写入（单位：次）1核1 GB（rds.mysql.t1.small）25000 32 300 600 8 450394 128684 2核4 GB（rds.mysql.s2.large）25000 32 ...
MySQL 5.7测试结果
场景一：内存命中型 规格 单表数据量 表数量 最大连接数 IOPS Sysbench线程数 Sysbench读取（单位：次）SysBench写入（单位：次）1核1 GB（rds.mysql.t1.small）25000 32 300 600 8 539252 154072 2核4 GB（rds.mysql.s2.large）25000 32 ...
MySQL 8.0测试结果
场景一：内存命中型 规格 单表数据量 表数量 最大连接数 IOPS Sysbench线程数 Sysbench读取（单位：次）SysBench写入（单位：次）1核1 GB（rds.mysql.t1.small）25000 32 300 600 8 432922 123692 2核4 GB（rds.mysql.s2.large）25000 32 ...
导入概述
Spark Load适用于初次迁移大数据量（可达到TB级别）到StarRocks的场景，且源数据在Spark可访问的存储系统（例如HDFS）中，详细信息请参见 Spark Load。异步导入 Stream Load 是一种同步执行的导入方式。您可以通过HTTP协议发送请求将本地...
topRegion分析
本文介绍如何通过集群管理系统查看热点分片分析结果。前提条件 已登录目标实例的集群管理...数据量Top：指定时间段内，总数据量最大的表及其所在分片。默认显示数据量Top10的表。（可选）单击目标表名前的 图标，可查看目标表所属分片的详情。
数据倾斜诊断
复制分布方式通常只会用在数据量小的表中，如果数据量大的表使用复制分布方式，会导致数据急剧膨胀。哈希（HASH）分布 该分布方式会根据分布键HASH值将数据分布到各个计算节点上，该方式的关键在于如何选择分布键，分布键选择不正确时，...
数据膨胀诊断
如果两个表的膨胀率相同时，数据量大的表更靠前。诊断信息表内部原理是基于PostgreSQL的Statistic Collector进程的统计信息来进行诊断的，Statistic Collector在PostgreSQL Server发生Crash时统计信息会重置（极小概率发生）。如果您发现...
管理数据树
查看已上传数据表详情，包括但不限于数据地图、数据量、数据表大小及项目引用情况。刷新数据库/文件夹/表 选择需要查看的层级，单击右上角的 图标，完成刷新操作。改变数据库/文件夹显示模式 选择需要查看的层级，单击右上角的 图标或 图标...
新建表
说明 在左侧导航栏的表列表中，单击表名右侧的更多图标，通过弹出的管理操作列表（包括 查看表结构、查看表数据、导入、导出、下载、模拟数据、打开 SQL 窗口、复制、删除 和 刷新），可快速管理和操作目标对象。表对象具体操作，请参见 表...
添加体验空间数据库
查看已上传数据表详情，包括但不限于数据地图、数据量、数据表大小及项目引用情况。删除数据表 登录 DataV-Atlas控制台。在 数据中心 页面下方，单击数据库列表的 体验空间。在 public 文件夹下选择需要删除的数据表，单击当前数据表右侧的...
SQL处理优化
在查询效率上，跟查询普通表最大的不同在于，读取源表数据文件时，可能会涉及大量 DeltaFile 的合并以及数据历史中间状态的消除，详情可参见 TimeTravel 查询设计，从而极大影响读取效率，因此对于查询频率和效率要求比较高的业务场景，...
产品和业务限制
S2n 3个 没有高配 表或分区单次导入最大数据量 min(系统最大值,ecuCountdiskSize 0.2)联系技术支持 单个分析型数据库MySQL版最多表数 256 联系技术支持 单个表组总表数 256 联系技术支持 单表最大列数 1024 暂无高配 最大一级分区数 255 暂...
表数据管理
导出 导出单表数据，默认导出当前表，同时支持同时导出多个对象。具体请参见本手册文档 导入和导出。编辑数据 如下图所示，在数据页签导航栏中单击 开启编辑 可进入编辑态。ODC 中用颜色标识您对表中数据的操作，新增的数据用绿色标识，...
DBS沙箱功能概览
相比现有基于大数据平台的历史数据离线分析方案，DBS沙箱功能提供原始数据库SQL接口，不需要开发人员编写离线分析脚本，并由于使用快照存储机制，存储成本也更低。费用说明 更多信息，请参见 DBS沙箱费用。后续步骤 自建MySQL应急恢复...
资产目录
特殊的，支持切换到 数据板块/主题域 进行筛选，按照数据架构视角查看数据表，定位在这个视角时，展示全量数据表；若您按照 所属专题和默认专题组 进行筛选，定位在其他资产专题分组视角时，仅展示当前专题分组下的资产专题包含的数据表，...
Query级别诊断结果
查询返回客户端的数据量较大 查询消耗的内存资源较大 查询生成的Stage个数较多 查询读取的数据量较大 查询返回客户端的数据量较大 问题 大量数据返回到客户端会导致慢查询，还会占用部分网络前端资源。说明 您可以在查询详情页面的 查询...
DescribeDBClusterSpaceSummary-查看集群的空间概览
说明 计算公式为：热数据总量=表记录数据量+普通索引数据量+主键索引数据量+其他 4194304 DataSize long 表记录数据量，单位：Byte。1048576 IndexSize long 普通索引数据量，单位：Byte。1048576 PrimaryKeyIndexSize long 主键索引数据量...
DescribeDBClusterSpaceSummary-查看集群的空间概览
查看实例的空间概览信息，包括总数据量、热数据量、冷数据量、数据增长量等。接口说明 当前服务的接入地址请参见 ...
多表连接
警告 对数据量比较大的数据表进行笛卡尔连接（不带连接条件的交叉连接），会因数据膨胀造成结果数据量巨大，影响节点的执行耗时，并占用较多的存储空间。连接条件 连接条件指定了两张数据表之间使用哪些字段进行连接，当数据表中某条数据...
概述
由于归档后的冷数据为单表多文件格式，在查看冷数据时，您可以采用并行查询进行查询优化，详情请参见 基于OSS外表的单表多文件查询。修改冷数据 修改 CSV 或 ORC 格式的冷数据。如果您有低频修改归档到OSS上冷数据的需求，您可以通过 ALTER...
数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
存储空间分析
在 表空间信息 区域，可以查看 总数据量、热数据量、冷数据量、表行数、分区数 等指标。指标 说明 数据库 数据库名称。表名 表名称。空间占比 表数据量占集群总数据量的比例。计算方法：空间占比=(表的总数据量/集群总数据量)*100%。总数据...
算子级别诊断结果
AnalyticDB MySQL版 在预估左右表数据量时，由于统计信息过期等原因导致估计错误。建议 建议将Left Join优化改写成Right Join。改写方法，请参见 Left Join优化改写为Right Join。存在Cross Join 问题 Cross Join，即没有Join条件的Join...
深度解析PolarDB数据库并行查询技术
如何将查询并行起来 对于一个类OLAP的查询，它通常是对大批量数据的查询，数据量大意味着数据远大于数据库的内存容量，大部分数据可能无法缓存到数据库的缓冲区中，而必须在查询执行时才动态加载到缓冲区中，这样就会造成大量IO操作，而IO...
功能特性
此外，OceanBase 数据库支持超大规模集群（节点超过 1500 台，最大单集群数据量超过 3 PB，单表数量达到万亿行级别）动态扩展，在 TPC-C 场景中，系统扩展比可以达到 1:0.9，使用户投资的硬件成本被最大化的利用。高可用 OceanBase 数据库...
资产全景
在 全局 页面，右下角会展示各个业务板块的名称、数据量、占总数据量比，以及系统内的 总数据表数、总项目数。总数据量：分布式数据存储可能有多个副本（取决于计算引擎本身配置），当前展示的存储量为所有副本存储总量。机器学习PAI模型...
数据地图概述
单表隐藏 您可以选择表状态为 隐藏：所有人都不可以通过搜索来访问到该表。仅项目：仅对表所在工作空间下用户可见（可搜索到）。显示：所有人都可以通过搜索访问到该表。说明 表owner和工作空间管理员默认不受上述权限控制。项目级别批量...
技术发展趋势
规模爆炸性增长 随着8K、5G、IoT、大数据、AI等系列技术的发展，数据量迎来了爆发式增长。IDC在《Data Age 2025》的报告中预测，从2018年到2025年，全球数据将从33ZB急速增长到175ZB，比2016年产生的数据量增加了十倍。这表明注重数据价值...
资产全景
在 全局 页面，右下角会展示各个业务板块的名称、数据量、占总数据量比，以及系统内的 总数据表数、总项目数。总数据量：分布式数据存储可能有多个副本（取决于计算引擎本身配置），当前展示的存储量为所有副本存储总量。仅统计生产项目...
基本概念
您可以在创建集群时购买EIU，也可以在高吞吐写入或大数据量扫描时购买或扩容EIU。EIU的性能指标，请参见 弹性IO资源（EIU）扩容。ACU ACU，全称为AnalyticDB Compute Unit，是 AnalyticDB for MySQL 湖仓版（3.0）计算资源和存储资源的最小...
DML操作
权限说明 Dataphin中使用DML语句需要具备写入表数据的权限。配置说明，请参见 申请、续期和交还表权限。目录 插入单条数据 插入多条数据 单值分区表插入数据 修改数据-单条数据 修改数据-用查询结果批量修改 说明 若您需对Dataphin中逻辑表...
查询报错问题
当SQL所需处理单表或者多表join时的结果较大时，计算节点内存会成为系统瓶颈。分析型数据库MySQL版CN节点为避免SQL压垮系统，会进行自我保护，自动将查询消耗内存较大的SQL fail掉，保证其它查询正常。因此当查询分析型数据库MySQL版报错...
冷数据归档常见问题
归档为CSV格式的数据的数据量可能会比归档为ORC格式的数据的数据量更大。为什么归档后的冷数据及文件在主账号下面的OSS上看不到？PolarDB 的冷数据存储在系统默认的OSS上，不在客户的OSS里，所以客户无法看到。目前只支持在PolarDB控制台上...
同步节点
写入处理规则 当选中 写入前清理已有数据，则写入目标数据表数据时，会清空当前表已有数据。当选中 保留已有数据，则写入目标数据表数据时，会保留当前表已有数据。说明 仅当传输链路为ApsaraDB for RDS传输到MaxCompute时，才会显示当前...
同步节点
写入处理规则 当选中 写入前清理已有数据，则写入目标数据表数据时，会清空当前表已有数据。当选中 保留已有数据，则写入目标数据表数据时，会保留当前表已有数据。说明 仅当传输链路为ApsaraDB for RDS传输到MaxCompute时，才会显示当前...
- 产品推荐
- 这些文档可能帮助您