Echarts 单轴气泡图
大规模优化：是否开启大数据量优化，在数据图形特别多而出现卡顿时候可以开启。开启后配合 绘制优化阈值 配置项，在数据量大于指定阈值的时候对绘制进行优化。但是优化后不能自定义设置单个数据项的样式。标签：单击右侧的 眼睛 图标显示...
什么是数据库自治服务DAS
缺少数据支撑，问题排查靠猜 数据库的问题排查和性能优化一直都是数据库领域的专业问题，但是即使最专业的DBA在面对一些问题的时候，也往往耗费了很长时间，但是仍然无法定位到根因，主要的难点有三个：获取信息难，问题诊断和性能优化都...
Cost-based SQL诊断引擎
基于代价模型 与基于规则不同，DAS中的SQL诊断优化服务采用的是基于代价模型方式实现，即采用和数据库优化器相同的方式去思考优化问题，最终会以执行代价的方式量化评估所有的（或尽可能所有的，因为是最优解求解的NP类问题，因此在一些...
SQL优化技术
诊断能力 DAS的SQL诊断优化服务是自动SQL优化强大后盾，它采用基于代价模型方式，也就是采用和数据库优化器相同的方式去思考优化问题，最终会以执行代价的方式量化评估所有的可能推荐候选项，最终作出可靠推荐。该服务已在阿里巴巴集团内部...
时序引擎版本说明
功能优化 修复TSQL条件中出现BOOLEAN数据类型的数据时可能出现异常的问题。3.4.17（稳定版本）发布日期 类型 说明 2022年06月17日 新特性 支持设置写入的最大时间（即当前时间和偏移时间），超过偏移时间后写入的数据会被丢掉。功能优化 ...
Transaction Table2.0概述
针对这些问题近几年大数据开源生态也推出了各种解决方案，最流行的就是Spark/Flink/Presto开源数据处理引擎，深度集成开源数据湖Hudi、Delta Lake和Iceberg三剑客，践行统一的计算引擎和统一的数据存储思想来综合提供解决方案，解决Lamdba...
数据组织优化
高流量场景下可能会导致增量小文件数量膨胀，从而引发存储访问压力大、成本高，并且大量的小文件还会引发meta更新以及分析执行慢，数据读写IO效率低下等问题，因此需要设计合理的小文件合并服务，即Clustering服务来自动优化此类场景。...
客户案例
客户需求 希望优化数据体系结构，解决如下难点、痛点问题：业务团队对全域数据资产无感知，且数据需求响应时间长。组件繁多，运维、开发成本高。昼夜资源使用量不均，资源利用率低。扩展性差，扩容、升级存在一定难度和风险。数据质量难...
Logtail发布历史
Prometheus数据接入内存优化。问题修复 修复Docker环境下潜在的FD泄露和事件遗漏问题。修复Logtail采集配置更新时文件句柄泄露的问题。修复IP地址在特殊主机名下解析错误的问题。修复多个配置路径存在父子目录关系时文件重复采集的问题。1....
HTAP中的行列混存查询优化
查询优化的作用及基本原理 在数据库处理查询语句的过程中，优化器接收用户输入的查询语句并进行一系列的等价变换后，通过查询中的基数与代价估计，从等价的执行计划中选取最优计划执行。由于在执行查询时使用的执行计划好坏对性能的影响...
通过文件管理优化性能
为了提升查询性能，Delta Engine对数据的存储和布局进行了优化，目前支持两种布局算法：bin-packing和Z-Ordering。在本文中，我们会介绍如何使用这两种布局算法并给出使用案例。此外我们还介绍了Delta Engine的Data skipping功能，以及该...
技术架构
节点间只需要同步内存里的元数据信息，通过MVCC机制的保证，就能支持跨节点读取数据的一致性，非常巧妙地解决了主实例和副本之间的数据同步问题，大大节约了跨节点的网络开销，降低副本间的同步延迟。PolarDB PostgreSQL版（兼容Oracle）的...
列存索引技术架构介绍
在处理大数据量下复杂查询所需要的能力方面，如优化器处理子查询的能力、高性能算子HashJoin、SQL并行执行能力等，MySQL社区一直将其放在比较低优先级上，因此，MySQL的数据分析能力提升进展缓慢。随着MySQL发展为世界上最为流行的开源数据...
PolarDB MySQL版8.0.1版本发布日志
8.0.1.1.37 类别 说明 发布时间 新增功能和性能优化 优化大Blob场景下，只读节点（RO）读取Redo日志的速率。调用内置存储过程时，支持使用大写的存储过程名称进行调用。2023-09-21 问题修复 修复在调用部分内置存储过程时，在入参中添加反...
应用场景
多源联合分析 该场景需要解决云上企业构建数据仓库时配置数据同步链路繁杂的问题，以及分库分表所带来的数据分析复杂性问题，让用户可以更专注于业务逻辑。该场景可实现：支持多数据源接入 支持数据库（RDS、PolarDB-X（原DRDS）、PolarDB...
高效数据治理实施指南
例如，治理负责人本次的目标是将高基线任务相关的问题全部解决，并期望15天内完成，因此直接选择全部的228个问题都需要治理，设定选择目标为“优化问题数”>=228个，修改截止日期到15天后。圈选治理内容。如果治理负责人期望小范围治理或...
可观测性能力
背景信息 可观测性是以系统的指标、日志、链路追踪三大数据支柱为基础，衍生出如数据监控、问题分析、系统诊断等一系列的能力。指标（Metrics）：记录一段时间内各个维度的量化信息，用来观察系统的某些状态和趋势。日志（Logs）：记录程序...
调优集群性能
您可以通过 一键诊断 功能来定位存在问题的查询：Bad SQL检测结果中，高耗时的SQL、数据读取量大的SQL、Stage个数多的SQL、最耗CPU的SQL，都可能导致集群的CPU使用率增高，需要根据自诊断结果或者执行计划进行进一步的分析。异常Pattern...
AliPG优势
背景信息 PostgreSQL（简称PG）是一款全球流行的企业级开源数据库，被业界誉为“最先进的开源数据库”。AliPG兼容PostgreSQL开源数据库，于2015年正式商用，目前支持10及以上的大版本，已稳定运行多年，支撑了大量阿里巴巴集团内部以及云上...
可观测性能力介绍
背景信息 可观测性是以系统的指标、日志、链路追踪三大数据支柱为基础，衍生出如数据监控、问题分析、系统诊断等一系列的能力。指标（Metrics）：记录一段时间内各个维度的量化信息，用来观察系统的某些状态和趋势。日志（Logs）：记录程序...
数据治理中心概述
您可直接使用该模板检测问题数据，若模板的配置项无法满足需要，则也可自定义检查项及治理项。健康分：基于治理项，按照系统预先定义的模型计算得出，用于评估治理成效。治理单元：由一个或多个工作空间组成，用于集中统计指定工作空间的...
X-Engine简介
因为目标是面向大规模的海量数据存储，提供高并发事务处理能力和降低存储成本，在大部分大数据量场景下，数据被访问的机会是不均等的，访问频繁的热数据实际上占比很少，X-Engine根据数据访问频度的不同将数据划分为多个层次，针对每个层次...
如何处理Tair集群数据倾斜
使用 Tair 的QueryCache特性，缓存热点数据，更多信息请参见 优化大Key与热Key。高消耗命令 不同的命令具有不同的复杂度，高复杂度的命令会消耗大量性能资源，例如 HGETALL 命令的复杂度为O(n)，该命令会随着您存储的Field越多，消耗越大。...
如何处理Redis集群数据倾斜
使用 Tair 的QueryCache特性，缓存热点数据，更多信息请参见 优化大Key与热Key。高消耗命令 不同的命令具有不同的复杂度，高复杂度的命令会消耗大量性能资源，例如 HGETALL 命令的复杂度为O(n)，该命令会随着您存储的Field越多，消耗越大。...
慢日志分析
慢日志问题极大地影响数据库的稳定性，当数据库出现负载高、性能抖动等问题时，数据库管理员或开发首先会查看是否有慢日志在执行。数据库自治服务DAS（Database Autonomy Service）支持慢日志分析功能，会统计并分析数据库中执行时间超过...
JindoFS实战演示
数据迁移 文档链接 视频链接 视频发布时间 描述 高效迁移HDFS海量文件到OSS 高效迁移HDFS海量文件到OSS 2021-05-11 通过Hadoop DistCp将HDFS海量文件同步到OSS存在很多问题，例如文件数量太大造成内存溢出、同步效率慢、无法保证数据一致性...
通过阿里云百炼搭建专属大模型应用
概述 产品简介 阿里云百炼是基于通义千问大模型、大行级模型及企业专属数据，结合全链路大模型开发工具所打造的一站式企业专属大模型商业化平台。提供完整的模型训练、微调、评估等产品工具，预置丰富的应用插件，提供便捷的集成方式，可以...
求解器用户手册
支持原始/对偶单纯形法(simplex)和内点法(interior point)、支持求解大规模网络流优化问题。整数规划：支持求解 混合整数线性规划（MILP）问题的分支定界算法(branch-and-cut solver)。非线性规划：支持求解凸 二次规划（QP）问题、求解 半...
自研内核
AliSQL在功能、性能、稳定和安全方面进行了诸多优化创新，典型的有：Thread Pool 实现Listener-Worker处理模型，提升AliSQL的连接能力，并能够针对不同类型的操作进行并发优化，使RDS数据库在高连接大并发情况下始终保持高性能。...
AliSQL内核小版本发布记录
增加 Persist Binlog Into Redo V2 功能，对大并发做了优化，大并发下有更好的性能。优化SSL加密功能，修复部分内部错误。取消普通账户对sys、performance_schema库的操作权限。错误日志中加入 FLUSH TABLES WITH READ LOCK 和 UNLOCK ...
DataWorks On EMR使用说明
安全中心概述 数据保护伞概述 审批中心概述 数据治理中心 数据治理中心针对多个治理领域，通过数据领域规则沉淀、自动识别资产待优化问题项、覆盖事后及事前的治理优化策略等方式帮助用户主动式、体系化完成数据治理工作。数据治理中心概述...
性能优化
本文介绍优化图数据库GDB性能的方法，帮助您快速定位图数据库GDB的性能问题，提升查询效率。设置查询范围 图数据库GDB的查询分析引擎程序能够根据数据输入提供适合需求的查询方式。当查询数据量大时，您可以指定查找数据的范围（特定的...
SparkSQL自适应执行
阿里云E-MapReduce 3.13.0及后续版本的SparkSQL支持自适应执行功能，可以用来解决Reduce个数的动态调整、数据倾斜和执行计划的动态优化问题。使用限制 本文针对SparkSQL自适应执行涉及到的参数适用于Spark 2.x。如果您使用的是Spark 3.x，...
2023年
MaxCompute JSON类型使用指南（试用Beta版本）2023-06-26 新增增量查询 新说明 Transactional Table 2.0支持增量写入和存储，最重要的一个考虑就是支持增量查询以及增量计算优化，为此，专门设计开发了新的SQL增量查询语法来支持近实时增量...
PolarDB MySQL版8.0.2版本发布日志
修复在使用JOIN消除优化功能后，剩余表的列信息没有更新，导致可能无法选择表的最优访问方式的问题。修复Semi join选择Materialization策略时，查询结果可能出现错误的问题。修复主键不包含分区键的分区表在 binlog_row_image=MINIMAL 情况...
核心自治技术案例解析
外置式SQL自动优化 按照经验，约80%的数据库性能问题可通过SQL优化手段解决，但SQL优化一直以来都是一个非常复杂的过程，需要多方面的数据库领域专家知识和经验，另外，由于SQL工作负载不断变化，SQL优化还是一项非常耗时繁重的任务，这些...
偏分析场景的实践和优化
设计为分区表或者广播表 广播表会在集群的每个数据节点都存储一份数据，建议广播表的数据量不宜太大，每张广播表存储的数据不超过20万行，这样在大表和广播表做关联时，可以计算下推，让关联贴近数据层做计算，避免大表数据拉取到计算节点...
PolarDB HTAP实时数据分析技术解密
在处理大数据量下复杂查询所需要的能力方面，如优化器处理子查询的能力、高性能算子HashJoin、SQL并行执行等。社区将其处于低优先级，因此MySQL的数据分析能力提升进展缓慢。随着MySQL的发展，用户使用其存储了大量的数据，并且运行着关键...
文档修订记录
创建数仓分层 配置及使用数仓分层检查器 2023.3.16 新增功能 数据建模 DataWorks智能数据建模联合具备丰富行业建模经验的数据架构师，总结阿里云百万用户最全面的业务场景，结合阿里巴巴技术创新能力，提供零售电子商务、金融、制造等多个...
新零售：杭州数云信息技术有限公司
同时由于业务数据量较大，单个实例需要较大的数据存储量，传统的单机数据库无法满足，PolarDB 的存储计算分离能力帮我们解决了这个困扰我们很久的问题。“双十一期间 PolarDB 的IOPS能力很稳定，连接数使用到当前规格的一半，还可以再承载...
- 产品推荐
- 这些文档可能帮助您