Paimon 实践 | 基于 Flink SQL 和 Paimon 构建流式湖仓新方案
01数据分析架构演进目前，数据分析架构正在从Hive到Lakehouse的演变。传统数仓包括Hive、Hadoop正在往湖、Lakehouse 架构上演进，Lakehouse 架构包括Presto、Spark、OSS，湖格式 (Delta、Hudi、Iceberg) 等等架构，这是现在比较大的趋势。Lakehouse 架构包含了诸多新能力。首先OSS比起传统的HDFS有了更加弹性、更加计算存储分....
MySQL【实践 02】MySQL迁移到PostgreSQL数据库的语法调整说明及脚本分享（通过bat命令修改mapper文件内的SQL语法）
1.迁移说明数据架构方案由现在的GP+MySQL调整为GP/PG。新的方案中，当使用单服务器部署数据库时，数据库直接部署为PG，可以使用Docker进行快速部署避免GP部署麻烦的问题，且适用于大多数的客户使用场景；当PG无法承载客户的数据时，部署方案调整为GP，相对的部署方案会复杂一些，同时依然要部署PG数据库用来作为其他微服务的业务数据库，避免GP的高并发不适应的问题，提高系统的稳定性。尽量不....
Presto【实践 01】Presto查询性能优化（数据存储+SQL优化+无缝替换Hive表+注意事项）及9个实践问题分享
1.优化1.1 数据存储合理设置分区：与Hive类似，Presto 会根据元信息读取分区数据，合理的分区能减少 Presto 数据读取量，提升查询性能。使用列式存储：Presto 对 ORC 文件读取做了特定优化，因此在 Hive 中创建 Presto 使用的表时，建议采用 ORC 格式存储。相对于 Parquet，Presto 对 ORC 支持更好。使用压缩：数据压缩可以减少节点间数据传输对 ....
Django实践-07日志调试,Django-Debug-Toolbar配置与sql优化
Django实践-07日志调试与sql优化官网：https://www.djangoproject.com/博客：https://www.liujiangblog.com/本博客内容参考git：https://gitcode.net/mirrors/jackfrued/Python-100-Days 一些细节问题，大家可以查看git连接。本文主要的改变为把代码升级为django4.1版本。Dja....
Datahub实践——Sqllineage解析Sql实现端到端数据血缘
需求当前数仓架构流程图如下图所示，不支持端到端数据血缘，数据异常排查及影响分析比较被动，需要端到端数据血缘及元数据管理。业务系统：各种制造业业务系统（高速迭代、重构、新建中） 数仓开发平台：数栖平台，支持数仓内各层级的DAG调度血缘图数仓导出库：PG BI可视化系统：FineBI，支持内部数据集、图表的血缘通过调研分析，引入datahub做元数据管理平台，实现效果如下图展示。方案实现如下端到端血....
《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践（下）——三、SQL优化与慢查询解决（上）
1. 查询流程和执行计划 • SQL语言完成用户和系统内部存储数据之间的交互。在执行阶段，AnalyticDB MySQL版中的查询，会首先被切分为多个Stage来执行，一个Stage就是执行计划中某一部分的物理实体。 • 在AnalyticDB MySQL架构中有三层：接入层、计算层、存储层，是计算存储分离架构。一条SQL语句执行过程，首先会进入接入层，经过解析器完成语句的....
《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践（下）——三、SQL优化与慢查询解决（下）
更多精彩内容，欢迎观看：《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践（下）——三、SQL优化与慢查询解决（上）：https://developer.aliyun.com/article/1222969?spm=a2c6h.13148508.setting.21.77f14f0es0kEi94. 典型慢查询 1) 消耗内存的....
《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB PostgreSQL版解析与实践（下）——三、SQL性能调优（上）
1. Cascade框架SQL优化器 新一代cascade框架的SQL优化器，面向全并行执行架构，代价优化CBO和规则优化RBO相结合，实现复杂SQL免调优。 cascade框架的SQL优化器具备以下功能： • Top-Down路径搜索框架，搜索和路径选择更全面精准，避免出现局部查询路径最优解；• 子查询自动改写为分布式JOIN， 实现并行计算，规避手工改写调优；•....
《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB PostgreSQL版解析与实践（下）——三、SQL性能调优（下）
更多精彩内容，欢迎观看：：《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB PostgreSQL版解析与实践（下）——三、SQL性能调优（下）：6. 可视化执行计划 如图是执行计划可视化展示。 示例语句explain （format json,analyze true） select count(*) from test,tes....
实践教程之采集PolarDB-X SQL日志到ElasticSearch
PolarDB-X 为了方便用户体验，提供了免费的实验环境，您可以在实验环境里体验 PolarDB-X 的安装部署和各种内核特性。除了免费的实验，PolarDB-X 也提供免费的视频课程，手把手教你玩转 PolarDB-X 分布式数据库。本期实验将指导您如何采集PolarDB-X SQL日志到ElasticSearch本期免费实验地址本期教学视频地址前置准备假设已经根据前一讲内容完成了Polar....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
数据库
分享数据库前沿，解构实战干货，推动数据库技术变革
+关注