海量实时计算+OLTP+OLAP DB设计 - 阿里云(RDS、HybridDB) for PostgreSQL最佳实践 - 泛电网系统应用
标签 PostgreSQL , 国家电网 , 电表 , 余额 , 流式计算 , 状态监测 , 上下文相关 背景 电网系统是一个关系民生,又非常典型的传统系统,虽然传统,量可不小。在互联网化(物联网化)的今天,有很多值得借鉴和思考的点供给其他相关系统参考。 每个省份大概有亿级户电表,最大的地市可能有千万户级别。 以往我们电费是怎么交的呢?我们小区是两个月交一次,也就是说先消费,再付款的方式。这...
行存、列存,堆表、AO表性能对比 - 阿里云HDB for PostgreSQL最佳实践
标签 PostgreSQL , GIS , PostGIS , Greenplum , 空间检索 , GiST , B-Tree , geohash 背景 《Greenplum 行存、列存,堆表、AO表的原理和选择》 以上文档详细的介绍了行存、列存,堆表、AO表的原理以及选择的依据。 《一个简单算法可以帮助物联网,金融 用户 节约98%的数据存储成本 (PostgreSQL,Greenplu...
Greenplum 空间(GIS)数据检索 B-Tree & GiST 索引实践 - 阿里云HybridDB for PostgreSQL最佳实践
标签 PostgreSQL , GIS , PostGIS , Greenplum , 空间检索 , GiST , B-Tree , geohash 背景 气象数据、地震数据、室内定位、室外定位、手机、车联网、还有我们最喜欢的“左划不喜欢、右划喜欢”,越来越多的位置属性的数据。将来会越来越多。 基于GIS的数据分析、OLTP业务也越来越受到决策者的青睐,例如商场的选址决策,O2O的广告营销等...
时序、时序、时序业务(所有VALUE NEW值 7秒到7毫秒的优化之旅) - 阿里云RDS PostgreSQL最佳实践
标签 PostgreSQL , 时序数据库 , 时序 , 滑动窗口 , 递归查询 , subquery , 窗口查询 , 求最新值 背景 在很多场景中,都会有数据合并、清洗的需求。 例如: 1、记录了表的变更明细(insert,update,delete),需要合并明细,从明细中快速取到每个PK的最新值。 2、有很多传感器,不断的在上报数据,要快速的取出每个传感器的最新状态。 对于这类需求,...
分布式DB锁问题排查方法 - 阿里云HybridDB for PostgreSQL最佳实践
标签 PostgreSQL , Greenplum , 锁 , SEGMENT不一致 , gp_session_role=utility , gp_dist_random 背景 Greenplum(GPDB)是一个分布式数据库,分布式数据库的锁管理比单机更加复杂。例如在加锁时,需要对所有节点加锁(包括MASTER和所有的SEGMENT节点),在释放锁时,则需要释放所有节点的锁。 如果在释放过...
分布式DB数据倾斜的原因和解法 - 阿里云HybridDB for PostgreSQL最佳实践
标签 PostgreSQL , Greenplum , query倾斜 , 存储倾斜 , OOM , disk full , 短板 , 数据分布 背景 对于分布式数据库来说,QUERY的运行效率取决于最慢的那个节点。 当数据出现倾斜时,某些节点的运算量可能比其他节点大。除了带来运行慢的问题,还有其他的问题,例如导致OOM,或者DISK FULL等问题。 如何监控倾斜 1、监控数据库级别倾...
阿里云HybridDB for PostgreSQL内存与负载管理(resource queue)实践
标签 PostgreSQL , Greenplum , 阿里云HybridDB for PostgreSQL , 内存管理 , OOM , 操作系统内核参数 , 资源队列 , 数据库内存保护参数 背景 Greenplum是一个重计算和重资源的MPP数据库,可谓有多少资源就能消耗多少资源,带来的好处是处理速度变快了,坏处就是容易用超。 CPU、网络、硬盘用超的话,关系不大,因为大不了就是到硬件...
数据寻龙点穴(空间聚集分析) - 阿里云RDS PostgreSQL最佳实践
标签 PostgreSQL , Greenplum , PostGIS , K-Mean , 热力图 背景 最近鬼吹灯热播,胡八一的《十六字阴阳风水秘术》到底是什么武功秘籍?寻龙点穴又是什么?别问我,不知道。 PS:截取自互联网。- 寻龙点穴是风水学术语。古人说:三年寻龙,十年点穴。意思就是说,学会寻龙脉要很长的时间,但要懂得点穴,并且点得准则难上加难,甚至须要用“十年”时间。 但是,若没...
空间索引(GiST、BRIN、R-Tree)选择、优化 - 阿里云RDS PostgreSQL最佳实践
标签 PostgreSQL , Greenplum , PostGIS , GiST , R-Tree , BRIN , 相关性 , 网格 , BOX , K-Mean 背景 空间数据的搜索需求通常包括: 1、平面、三维、多维对象 几何相交、不相交、相邻。 2、平面、三维、多维对象的方位判断(相交或严格在左边、右边、上边、下边),类似数值的大于、小于、大于等于、小于等于。 3、平面、三维、多...
动态输出(ToB海量日志转换业务) - 阿里云HybridDB for PostgreSQL最佳实践
标签 PostgreSQL , UDF , 动态格式 , format , JOIN , OSS外部表 背景 有一些业务需要将数据归类动态的输出,比如一些公共日志服务,所有用户的日志都被统一的按格式记录到一起,但是每个最终用户关心的字段都不一样,甚至每个用户对数据转换的需求都不一样。 比如这个业务: 《日增量万亿+级 实时分析、数据规整 - 阿里云HybridDB for Post...
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。
PostgreSQL更多阿里云相关
PostgreSQL您可能感兴趣
- PostgreSQL polardb
- PostgreSQL引擎
- PostgreSQL sqlserver
- PostgreSQL mpp
- PostgreSQL greenplum
- PostgreSQL集群
- PostgreSQL data
- PostgreSQL htap
- PostgreSQL架构
- PostgreSQL编译安装
- PostgreSQL analyticdb
- PostgreSQL手册
- PostgreSQL数据
- PostgreSQL rds
- PostgreSQL查询
- PostgreSQL同步
- PostgreSQL oracle
- PostgreSQL索引
- PostgreSQL mysql
- PostgreSQL语言
- PostgreSQL安装
- PostgreSQL服务器
- PostgreSQL分析
- PostgreSQL性能
- PostgreSQL函数
- PostgreSQL配置
- PostgreSQL功能
- PostgreSQL版本
- PostgreSQL报错
- PostgreSQL库