DDL操作常见问题
一张表的分区的数量是否越多越好？如果源表没有分区字段，是否可以增加或更改分区？如何查看指定的分区是否存在？如何查看分区数量？列操作 是否可以添加或删除列？如何添加列？如何设置自增长列？MaxCompute单表可以存放的最大列数是多少...
偏分析场景的实践和优化
理论上表的分区数量越多越好，这样多个分区表可以做并行扫描。存储层更易做到水平扩展，存储千万条甚至上亿条数据。实际使用中建议一个分区表的数量在500w~5000w之间。选择合适的分区键 PolarDB-X 默认按照主键做分拆，主要为了降低分布式...
Logstash性能排查
说明 分区数并不是越多越好，分区本身也有自己的开销。使用相同的group_id运行多个Logstash实例，将负载分散到多个物理机上。topic下的消息将分发到相同的group_id上，提高消费能力。提高管道批处理和管道工作线程数。相关文档 Logstash...
MaxCompute数据迁移
单个任务处理的最多分区数量,仅用于"同region项目迁移"仅⽤于同Region项目迁移。⼀个MMA⼦任务可以同时迁移⼀个表的多个分区，该配置指定可以同时迁移的分区数量。meta api访问并发量 获取源项目时的访问并发量，建议值为20。表黑名单,格式...
Hive数据迁移
单个任务处理的最多分区数量 默认50。即一次MMA任务迁移的分区数量，通过批量的分区迁移，可以减少提交Hive SQL的次数，节约Hive SQL提交时间。单个任务处理的最大数量（单位G）单位GB，默认5。即⼀次MMA任务迁移的所有分区的⼤⼩之和的...
典型慢查询
本文介绍 AnalyticDB MySQL版 中几种典型的慢查询以及导致慢查询的原因。消耗内存的慢查询 查询的峰值内存（Peak Memory）可以帮助您评估内存的消耗情况。通常来说，查询峰值内存越大，...通常情况下，分区越多意味着需要扫描的数据量越大。
优化快照使用成本
保留合理的快照数量 快照按照快照容量收取快照存储费，因此保留的快照数量越多，所占用的快照容量会越大，产生的快照费用也会随之增加。建议您根据实际业务需求，合理设置快照策略，保留合适数量的快照。不同的业务场景建议保留的快照数量...
导入Kafka数据
Topic Partition数量 Kafka Topic的Partition数量越多，越利于通过扩容子任务来提升处理吞吐。针对数据量较大的Topic，您可以适当增加其Partition数量（建议不低于16个）。Logstore Shard数量 日志服务的写性能取决于目标Logstore的Shard...
迁移服务（MMA）
参数名称 说明 单个任务处理的最多分区数量 需要迁移的分区数量的最大值。单个任务处理的最大数量（单位GB）需要迁移的分区数据大小的最大值。Hive Job配置 Hive引擎相关的任务参数，默认为MR引擎的部分配置。说明 该配置用于解决YARN容器...
管理关联商品
在完成手动关联的商品的排序后，对自动匹配的商品先按照匹配的标签个数进行排序，标签匹配数量越多的商品排名越靠前。当匹配的标签个数一样时，按照商品创建时间倒序排列，越新发布的商品排名越靠前。所有排序的商品中仅取前 5 个进行展示...
分布表
粒度越细，每张表的数据就越少，但是分区的数量就越多，反之亦然。关于分区的数量，没有绝对的标准，一般分区的数量在200左右已经算是比较多了。分区表数目过多，会有多方面的影响，比如查询优化器生成执行计划较慢，同时很多维护工作也会...
通过控制台投递数据到OSS
说明 OSS中的文件大小不宜过小，推荐4 MB或者更大，同时计算分析引擎加载OSS时，分区越多，加载事务的执行时间也会越长，因此时间分区粒度不宜过细，在多数实时写入流量场景中，宜按天或者按小时分区，不需要到分钟的分区粒度。以2020年08...
2019年
2019-10-28 全部区域 JOIN 支持合并分区 如果分区数量多，您可以通过合并分区功能，对数据进行归档。2019-10-28 全部区域 分区和列操作 支持设置IP白名单 MaxCompute支持设置VPC网络的IP白名单。2019-10-28 全部区域 管理IP白名单 2019-09 ...
表分区定义
分区表的粒度越细，每张分区表的数据就越少，分区表的数量就越多。关于分区表的数量，并没有绝对的标准，建议分区的数量控制在200以内，分区表数量过多可能会对数据库使用产生影响，例如查询优化器生成执行计划慢，VACUUM执行变慢等。重要 ...
基本概念
除Shard数量外，Table Group本身的数量也不是越多越好。每个Shard无论是否正在使用，都会占据一定的内存空间，用于存放表元数据、Schema等信息，在表有写入时则会占据更多内存空间。因此如果Table Group越多，则实例内总Shard数越多，内存...
Kafka常见问题
本文介绍使用Kafka时可能遇到的问题及解决方法。如何清理Kafka组件输出日志 如何清理Kafka-Manager服务输出日志 是否可以停止Kafka-Manager服务 报错“ERROR:Wile executing topic ...通常来说，分区数越多，能够支持的消费者的并行度也越高。
使用限制
当表包含的分区数量较多时，大小可能超过 jobconf.json，超过1 MB。视图 不可写 操作限制 视图不支持写入，不支持 INSERT 操作。列的数据类型 不可修改 操作限制 不允许修改列的数据类型及列位置。Java UDF函数 不允许为 ABSTRACT 或者 ...
SQL使用限制
当表包含的分区数量较多时，大小可能超过 jobconf.json，超过1 MB。视图 不可写 操作限制 视图不支持写入，不支持 INSERT 操作。列的数据类型 不可修改 操作限制 不允许修改列的数据类型及列位置。Java UDF函数 不允许为 ABSTRACT 或者 ...
SQL使用限制
当表包含的分区数量较多时，大小可能超过 jobconf.json，超过1 MB。视图 不可写 操作限制 视图不支持写入，不支持 INSERT 操作。列的数据类型 不可修改 操作限制 不允许修改列的数据类型及列位置。Java UDF函数 不允许为 ABSTRACT 或者 ...
SQL使用限制项
当表包含的分区数量较多时，大小可能超过 jobconf.json，超过1 MB。视图 不可写 操作限制 视图不支持写入，不支持 INSERT 操作。列的数据类型 不可修改 操作限制 不允许修改列的数据类型及列位置。Java UDF函数 不允许为 ABSTRACT 或者 ...
高维向量检索（PASE）
越长效果越好，但查询性能越差，可在查询时指定，该处为默认值：200。base64_encoded 数据是否采用base64编码。默认值0。取值：0：采用float4[]表示向量类型。1：采用float[]的base64编码字符串表示向量类型。查询。您可以使用两种索引查询...
高维向量检索（PASE）
越长效果越好，但查询性能越差，可在查询时指定，该处为默认值：200。base64_encoded 数据是否采用base64编码。默认值0。取值：0：采用float4[]表示向量类型。1：采用float[]的base64编码字符串表示向量类型。查询。您可以使用两种索引查询...
何时选择间隔（Interval）分区
Interval Range分区是Range分区的扩展，在数据到达时自动创建间隔...由于分区数量最多只能达到8192，自动增加分区的数量也会受限制，可以配合分区表的生命周期管理解决方案使用，定期增加分区，同时定期将冷数据所在的分区自动迁移到OSS上。
规格容量评估
Shard个数不是越多越好。主分片越多ES性能开销也会越大，shard数量太多极易引起文件句柄耗尽，导致集群故障。关于评估Shard的更多信息，请参见 How to size your shards。相关文档 了解不同地域和版本支持的节点规格或购买ES实例，请参见 ...
创建INTERVAL RANGE分区
由于分区数量最多只能达到8192，自动增加分区的数量也会受限制。因此建议您配合分区表的生命周期管理解决方案使用，定期增加分区，同时定期将冷数据所在的分区自动迁移到OSS上。更多示例如下：/*设定间隔为数字类型，大小为1000*/CREATE ...
PartitionedTable Scan Node
单条SQL的plan time 分区数量 Append plan time PTS plan time 16 0.266ms 0.067ms 32 1.820ms 0.258ms 64 3.654ms 0.402ms 128 7.010ms 0.664ms 256 14.095ms 1.247ms 512 27.697ms 2.328ms 1024 73.176ms 4.165ms memory（单条SQL内存...
多色仪表盘
表盘分区数 设置多色仪表盘的分区数量。取值范围：2~5。区间阈值 设置多色仪表盘分区间的阈值。最小值 第二区间：表盘分区数 为3时，显示该配置。第三区间：表盘分区数 为4时，显示该配置。第四区间：表盘分区数 为5时，显示该配置。末尾...
概述
但分区上的索引越多，数据写入速度会越慢。针对以上场景，您可以在分区表上创建部分索引，即在热点分区上创建简单查询的二级索引，在历史分区上创建分析类查询的二级索引。根据不同的业务需求在分区上创建不同的索引，不仅保证了热点分区的...
实例运维常见问题
预计耗时与节点上的Region数量相关，节点上的Region数量越多，耗时越长。在降配过程中，集群会滚动重启，但业务的读写请求仍然可以正常执行，服务不会中断。然而，部分读写请求可能会出现延迟抖动或链接中断现象，请确保客户端已配置正确的...
请求分布
共以下两个维度：查询维度 查询结果 表 所有表的平均读/写请求总数 total、读/写请求Top3的表及其对应的平均读/写请求数、请求分布饼状图（请求次数越多的表对应的饼状图面积越大）。发起请求的IP 所有IP的平均读/写请求总数 total、读/写...
新建路由规则
说明 匹配规则之间是“与”关系，即填写的规则越多匹配的范围越小。路由之间匹配的优先级与路由配置页面展示排列顺序一致。配置项 描述 路由名称 自定义路由名称。关联域名 选择在 域名管理 中创建的域名，支持选择多个域名。匹配规则 路径...
等值面层（v1.x版本）
分类数目 越多，插值效果越好，但渲染时间越长。分段渲染 默认颜色：插值点的默认颜色。当插值点的 value 值不在您所设置的分段区间时，使用此默认颜色。分段设色：单击右侧的 或 图标，添加或删除一个分段。单击 或 图标配置多个分段的...
分区表扫描算子
然而，PolarDB PostgreSQL版 对分区表的分区数量没有限制，当子分区数量过多时，优化器所使用的时间和SQL执行过程中所使用的内存使用将会急剧增大，与扫描相同大小的普通表相比差距尤为明显。为了解决该问题，PolarDB PostgreSQL版 提供了...
缓存淘汰
业务涉及到的表数量越多，该值应该越大。如果使用了分区表或 timescaledb 等插件，则建议设置为-1 关闭该功能，或者将该参数设置为较大的值。如果该值设置过小，会导致数据库性能下降，推荐该值不低于 1000。rds_syscache_max_cached_...
点热力层（v3.x版本）
数值越大填充越多。间距：网格间的间距比例，范围为0~1，单位%。数值越大网格间距越大。数据源面板 字段 说明 lng 点热力层中心点的经度。lat 点热力层中心点的纬度。value 点热力层经纬度点的数据值大小。系统会根据 value 的最大值和最小...
点热力层（v3.x版本）
数值越大填充越多。间距：网格间的间距比例，范围为0~1，单位%。数值越大网格间距越大。数据面板（默认模式）说明 当组件以 默认模式 添加后，您可以单击数据面板右上角的 分析模式，切换到分析模式数据面板。配置字段说明 字段 说明 lng ...
CREATE TABLE（AUTO模式）
Hash分区与Key分区是 原生MySQL的标准分区语法 之一，PolarDB-X 为提供灵活强大的分区管理能力（例如分裂、合并与迁移等）以及考虑支持向量分区键下热点散裂，PolarDB-X 不仅在语法上尽量兼容了MySQL的Hash分区与Key分区的建表语法...
分区表常见问题
分区数量设置可参考以下3种场景：随机产生的租户ID，一般是按照数据总量来计算单个分区的数据量，单个分区的数据量在500万至5000万之间。由于数据分布可能不均衡，所以单个分区的数据量也不是绝对的。如果租户ID有一定规律，如按照100、200...
表设计规范
分区数量和数据量建议 建议单个分区中的数据量不要太大。应尽量避免分区数据倾斜，避免单个表不同分区的数据量差异超过100万。分区设计时应合理规划分区个数，较细粒度的分区在跨分区扫描时会影响SQL的执行性能。单个分区中数据量较大的...
ST_Simplify
percent为简化后的三角面数量与原模型三角面数量的比值，percent越小简化越多。error的计算方式为新顶点到原顶点的距离，error越大简化越多。threshold 简化的阈值，取值范围见 mothed 参数描述。blacklist 对模型中的Mesh按name进行过滤，...
- 产品推荐
- 这些文档可能帮助您