深度解析PolarDB数据库并行查询技术
如果改为并行HASH JOIN，并行优化器会对串行执行的HASH JOIN进行并行化改造，使之成为并行HASH JOIN，并行化改造的方案可以有以下两种解决方案：方案一：是将2个表都按HASH key进行分区，相同HASH值的数据处于同一个分区内，由同一个线程...
如何排查Java场景下故障注入不生效的问题
在对Java进程注入故障时，可能会出现故障注入失败的情况。为解决此类问题，在创建或编辑演练时，您可以在故障执行阶段选择开启Debug模式，并通过相关的日志信息来了解故障注入失败的原因。开启Debug模式 在查看目标演练的故障注入日志前，...
乱码问题
利用域名发布网站时碰见乱码现象？...说明 产品在浏览器上使用，个别浏览器会出现卡顿、限制功能等不同问题，建议您使用兼容性较佳的谷歌浏览器或火狐浏览器，并经常清理缓存刷新，我们无法干涉外部使用环境因素，敬请理解。
概述
功能简介 弹性并行查询（Elastic Parallel Query，ePQ）目前支持单机并行和多机并行两种并行引擎，单机并行引擎等效于原有的并行查询，多机并行引擎支持集群内跨节点的自适应弹性调度。PolarDB MySQL版 8.0.1版本支持单机并行查询，查询时...
2023年
修复实例扩容后，开启并行查询访问AOCS列存表会出现coredump内核错误的问题。修复pg_rewind复制Xlog受statement_timeout参数影响的问题。修复ORCA优化器对含有较多子分区的表planning时间过长的问题。2023年03月 V6.3.10.12 类别 功能 功能...
发布单对接说明
为什么同一应用的发布单不支持并行 弹性场景 在 SAE 应用的发布、扩缩容场景下需要禁用弹性规则，否则会出现一系列不可预期的问题。如果此时有多个发布单并行，就会出现A发布单禁用了弹性，在A发布单未完结之前，B发布单又启动了弹性的情况...
并行查询使用限制和兼容性问题
精度问题 并行查询的执行过程中，可能会出现比串行执行多出中间结果的存储，如果中间结果是浮点型，可能会导致浮点部分精度差别，导致最终结果有细微的差别。网络包或者中间结果长度超出 max_allowed_packet 允许的最大长度 并行查询的执行...
补数据
为什么补数据选择业务时间昨天和今天，也会出现等待时间的情况？为什么补数据选择补0点~1点生成了多个实例？为什么进行大量补数据操作时，会出现等待资源情况（实例显示黄色，实例状态为等待资源）？为什么补数据报错调起的节点运行时间不...
Hive作业调优
另外，有多少个Reduce，就会有多少个输出文件，如果生成了很多个小文件，并且这些小文件作为下一个任务的输入，则会出现小文件过多的问题。并行运行 并行运行表示同步执行Hive的多个阶段。Hive在执行过程中，将一个查询转化成一个或者多个...
常见问题
本文介绍在使用图数据库GDB过程中的常见问题。产品介绍 问：什么是图数据库GDB？答：GDB是Graph Database的简写。GDB是一种支持Property Graph图模型、用于处理高度连接数据查询与存储的实时、可靠的在线数据库服务。它支持Apache ...
并行安全性
规划器把查询中涉及的操作分类成 并行安全、并行受限 或者 并行不安全。...在一些情况中，可以（甚至效率更高）把对表的扫描包括在查询的并行部分并且延迟对 WHERE 子句的计算，这样它会出现在 Gather 节点之上。不过，规划器不会这样做。
并行计划
查询规划器会在规划过程中考虑这一点并且不太会在这种情况下选择并行聚集。并行聚集并非在所有情况下都被支持。每一个聚集都必须是对并行安全的并且必须有一个组合函数。如果该聚集有一个类型为 internal 的转移状态，它必须有序列化和反...
JVM参数配置说明
本文从堆栈内存、回收器GC两方面介绍常见的JVM参数并提供配置示例。调优堆栈内存 堆栈大小典型配置参数 配置参数 说明 示例-Xmx 设置最大堆大小。Xmx3550m，设置JVM最大可用内存为3550 MB。Xms 设置JVM初始内存。Xms3550m，设置JVM初始内存...
PolarDB并行查询
挑战 从上图基本架构中可以看到，存储层将允许远大于单机的数据容量（目前是128 TB），甚至线上会出现一些用户，单表容量达到xx TB级别，这在基于MySQL主从复制的传统部署中是难以想象的。同时大量用户会有对业务数据的实时分析诉求，如...
Dataphin中周期任务在运行时为何会出现等待资源问题
问题描述 夜间周期性任务出现高并发时，运行过程中有些任务会出现等待资源问题，原本只需要几十秒的任务，有时需要20多分钟，为什么会出现这种情况？是否有改善的方案？问题原因 任务会出现等待资源问题是由于mesos资源分配不足导致的。...
SDK相关FAQ
为什么会出现内存泄漏？setSDKAuthSDKInfo的密钥如何获取？什么情况下会返回600005页面非法修改？当使用移动卡请求一键登录不成功，可能出现的报错日志及解决方法有哪些？若出现权限相关问题，该怎样做？检查App的权限是否可以正常申请。...
日志采集器相关问题
答：由于安装脚本只是简单的检查连接是否建立，而从模块启动到建立连接需要一个较长的时延，所以会出现这个问题。建议在安装完成一分钟之后，手动检测端口（8002）是否成功建立。支持日志采集器的系统有哪些？答：目前我们仅支持CentOS7.0...
参考：性能基准评测
batch-size 1 global-batch-size 4 使用Pytorch原生的分布式数据并行会导致出现OOM，导致OOM的关键原因是模型无法放在32G的显卡上，因为Adam优化器的状态参数就消耗16G显存。方案 吞吐（samples/s）Peak Memory（MB）无加速技术 OOM OOM ...
高可用系列
说明 当备节点出现故障不可用时，主节点会进行实时备份，主节点备份临近完成时会产生全局锁（FTWRL），导致主节点只读，一般不会超过5秒。功能全面 高可用系列实例提供完整的产品功能，包括弹性伸缩、备份恢复、性能优化、读写分离等，且...
通过可观测性能力进行故障处理最佳实践
具体使用时可将这些指标大致分为以下三类：一级指标：建议将没有歧义的、可衡量业务正常运行的指标作为一级指标，这些指标出现异常则一定是业务链路出现问题，一般可用做监控报警项。例如，消息收发TPS超过规格限制可触发实例流控，您可以...
PolarDB MySQL版8.0.2版本发布日志
修复RO节点的物理机出现故障时，RW节点在特殊情况下未将其复制关系中断，而引发RW节点刷脏受阻的问题。修复HA后，因表数量过多而引发table cache淘汰导致Autoinc回退的问题。修复删除X-Engine中的表或索引时，由于与偶发的后台...
弹性并行查询（ePQ）发布说明
但是，由于不同节点上的查询计算量是有差异的，不同节点间依然会出现负载不均衡的现象。此时，开启弹性并行查询（ePQ）后，当节点计算资源不足时，可以将查询的部分任务或者全部任务调度到有空闲计算资源的节点上执行。从而提升集群的整体...
PolarDB MySQL版8.0.1版本发布日志
修复RO节点的物理机出现故障时，RW节点在特殊情况下未将其复制关系中断，而引发RW节点刷脏受阻的问题。修复HA后，因表数量过多而引发table cache淘汰导致Autoinc回退的问题。修复多主集群缓存中心重启情况下，读写节点可能无法启动的问题。...
自动/手动主备切换
注意事项 不论是自动切换还是手动切换，当只读节点未开启热备时，主备切换过程中可能会出现20~30秒左右的闪断，因此切换前请务必确保应用具备重连机制；当只读节点开启了热备功能时，主备切换将在5~10秒内完成。关于如何开启只读节点的热备...
弹性并行查询（Elastic Parallel Query）常见问题
本文档介绍了弹性并行查询（Elastic Parallel Query）的常见问题。PolarDB读写集群地址是否可以通过hint开启并行查询？优先推荐您在 PolarDB 控制台的 集群地址配置 页面开启并行查询。如果您希望在SQL语句级别生效，可以通过/*+PARALLEL(n...
一键诊断
A：RDS MySQL的计算公式如下：线程使用率=活跃线程数/最大线程数 连接数使用率=当前连接数/实例规格最大连接数 最大线程数=thread_pool_size*(thread_pool_oversubscribe+1)Q：为什么会出现线程使用率超过100%的情况？A：按照线程使用率的...
重启实例或节点
当云数据库MongoDB单节点实例、副本集实例、分片集群实例、分片集群实例中指定节点（任意一个Mongos节点或Shard节点）出现连接数满或性能问题时，您可以手动重启实例或指定节点。注意事项 重启实例期间会启停进程，系统会断开当前所有连接...
执行补数据并查看补数据实例（旧版）
例如，业务日期为 1月11日~1月13日，并行数为2组，则会生成两个补数据实例（其中一个补数据实例会包含两个业务日期，这两个业务日期对应的任务串行执行），两个补数据实例并行执行。补数据告警 设置此次补数据操作是否会触发告警。是：满足...
变更发布策略
一般会将新版本的实例规格和数量与旧版本保持一致。当新版本服务验证通过后，将业务流量全部切至新版本。旧版本作为热备。如新版本上线后出现问题，可将流量全部切回至旧版本完成回滚，缩短故障恢复时间。A/B测试：通过用户请求的元信息将...
问题汇总
等待资源 为什么会出现等待资源？为什么任务一直在等待gateway调度资源？为什么数据集成任务一直显示wait？为什么会空跑 什么是空跑？为什么会空跑？场景一：周月实例空跑周期 场景二：实时生成的过期实例 场景三：设置成功实例 场景四：...
执行补数据并查看补数据实例（新版）
例如，业务日期为 1月11日~1月13日，并行数为2组，则会生成两个补数据实例（其中一个补数据实例会包含两个业务日期，这两个业务日期对应的任务串行执行），两个补数据实例并行执行。补数据告警 设置此次补数据操作是否会触发告警。是：满足...
Windows系统的ECS实例ping外网地址提示“一般故障”...
然后重新ping外网地址，不再出现“一般故障”错误时，表示该问题已解决。检查网卡配置信息 执行 ipconfig/all 或 route print 命令检查IP配置，查看路由配置是否存在问题。如果回显中显示了所有网卡信息，如下图所示，说明路由配置没有问题...
自动或手动主备切换
A：RDS在发生异常触发高可用切换时，应用端长连接可能无法感知到连接状态变化，如果没有设置socket超时时间，应用程序会一直等待数据库返回结果，通常会等到几百秒后才会断连，期间数据库的部分连接无法正常工作，SQL会出现大量执行异常。...
强弱依赖治理概述
如果商品详情页对下游依赖是强依赖，例如当下游依赖 库存、优惠、物流 出现故障的时候，将导致业务流程无法推进，会出现类似如下的说明，严重影响用户体验。如果商品详情页对下游依赖是弱依赖，例如当下游依赖 评价、店铺 等系统出现故障的...
异地双活切流
选择 故障单元，代表此时该单元当前出现故障，无法承接流量，MSHA会自动将该单元的流量置0，将另一个单元置为100。b.单击 下一步，进入 容灾切换预览，在预览页，可以看到单元前后比例的对比，和 当前切流服务，如果和您预期不符，请返回 ...
混合负载HTAP的实践和优化
路由 智能路由 PolarDB-X 优化器会基于代价分析出查询物理扫描行数、CPU、内存、IO、网络等核心资源消耗量，将请求区分为TP与AP负载。当您在集群地址上开启了智能路由，会主动识别SQL的工作负载类型来做路由，比如将识别为AP负载的流量路由...
云解析DNS如何实现故障切换
全局流量管理支持IP地址健康检查功能，并会根据健康检查的结果，来判断运营商IP地址是否出现故障，如果出现故障，则会将域名解析切换到备份的运营商IP上，并最终帮用户实现自动故障转移的功效。请参阅 GTM实现跨网访问加速与故障切换 操作...
并行查询配置参数说明
records_threshold_for_parallelism Session 若优化器估算出语句中存在扫描记录数超过该阈值的表，优化器会考虑选择并行执行计划。取值范围：[0-18446744073709551615]；默认值：10000。说明 若您的业务量较小或复杂查询业务并发较低，您...
图片处理常见问题
本文主要介绍您在使用OSS图片处理时可能遇到的一些常见问题及处理方法。遇到问题时，如果有明显的参数超过显示等问题，可以使用OSS的?x-oss-process=image/info 参数查看原始图片中的信息是否超标。OSS单边长度不能超过4096，乘积不能高于...
2021年
2021年5月 修复栅格数据导入时可能会出现崩溃的问题。2021年5月 V1.1.11 内核小版本 类别 名称 描述 相关文档 发布时间 新增 idle_session_timeout参数 新增idle_session_timeout参数，用于控制空闲会话的保留时间，超出保留时间的会话将会...
- 产品推荐
- 这些文档可能帮助您