文章 2021-11-07 来自:开发者社区

队列理论在PostgreSQL写WAL中的应用

队列理论在我们生活中的应用随处可见,例如机场、海关、银行甚至排队买菜。可以说,只要有排队的地方,就可以应用队列理论进行服务优化。 在计算机领域的架构设计,性能诊断等地方使用队列理论的案例也多不胜举。曾经培训的时候听到过,有牛人可以在不了解具体技术的情况下仅凭队列理论的知识就可以快速定位系统的瓶颈所在。拿一台服务器来讲,分为动态设备和静态设备。CPU和IO子系统属于动态设备,RAM属于...

文章 2020-04-04 来自:开发者社区

PostgreSQL WAL解析与闪回的一些想法

PostgreSQL WAL解析与闪回的一些想法 1. 背景 最近在walminer基础做了不少修改,以支持我们的使用场景。详细参考 如何在PostgreSQL故障切换后找回丢失的数据 修改也花了不少精力和时间,这个过程中有些东西想记录下来,方便以后查阅。 所以,这篇东西有点像流水账。 2. WAL文件格式 解析WAL的第一步是要了解WAL的文件格式,我觉得最详细易懂最值得看的资料是下面这个。 ....

文章 2020-02-25 来自:开发者社区

PostgreSQL PITR 任意时间点恢复过程中如何手工得到recovery需要的下一个WAL文件名 - 默认情况下restore_command自动获取

标签 PostgreSQL , recovery , recovery.conf , restore_command , timeline , 时间线 , next wal , PITR , 时间点恢复 背景 PostgreSQL数据库支持PITR时间点恢复。默认情况下,只需要配置目标是时间点,resotre_command即可,PG会自动调用...

PostgreSQL PITR 任意时间点恢复过程中如何手工得到recovery需要的下一个WAL文件名 - 默认情况下restore_command自动获取
问答 2019-09-17 来自:开发者社区

postgresql从库wal日志

现在我想基于postgresql的从库抓取增量数据,实时同步至kafka, postgresql数据库如何能让从库产生wal日志呢? 有什么开源工具能够实现基于pg的从库wal日志实时同步至kafka?

问答 2019-06-06 来自:开发者社区

PostgreSQL单纯的select执行,会不会产生WAL日志?我刚才执行了一个全表count 主备延迟好高

PostgreSQL单纯的select执行,会不会产生WAL日志?我刚才执行了一个全表count 主备延迟好高本问题来自云栖社区【PostgreSQL技术进阶社群】。https://yq.aliyun.com/articles/690084 点击链接欢迎加入社区大社群。

文章 2019-04-14 来自:开发者社区

PostgreSQL 恢复模式错误日志增强 - 提供正在恢复的WAL(XLOG)文件位置

标签 PostgreSQL , the database system is starting up , the database system is in recovery mode 背景 当数据库异常停库,再次启动时。又或者由于进程CRASH后自动重启时。需要进入恢复模式,恢复完成后,数据库才能正常交互。 在启动过程中,正在恢复时,如果此时连接数据库,会报错如下: the databas...

文章 2019-01-04 来自:开发者社区

PostgreSQL 11 新特性解读 : Initdb/Pg_resetwal支持修改WAL文件大小

PostgreSQL 11 版本的一个重要调整是支持 initdb 和 pg_resetwal 修改 WAL 文件大小,而 11 版本之前只能在编译安装 PostgreSQL 时设置 WAL 文件大小。这一特性能够方便 WAL 文件的管理。 Release 的说明 Allow the WAL file size to be set via initdb (Beena Emerson)Previo....

文章 2018-10-05 来自:开发者社区

PostgreSQL WAL replay 加速(datapage preload) - 恢复加速, 备库延迟优化

标签 PostgreSQL , replace , standby , recovery , preload , 预加载 背景 PostgreSQL 数据库恢复时,读取wal,如果当前wal page不是full page,则从这笔wal record对应的data file中拿到datapage,与wal record合并,覆盖对应data page。持续读取wal 实现恢复的目的。 需要...

文章 2018-10-03 来自:开发者社区

PostgreSQL 10.1 手册_部分 III. 服务器管理_第 30 章 可靠性和预写式日志_30.5. WAL内部

30.5. WAL内部 WAL是自动被启用的。除了做一些设置满足存放WAL日志的磁盘空间需求以及一些必要的调节以外(参阅第 30.4 节),对管理员没有什么其他要求。 当每个新记录被写入时,WAL记录被追加到WAL日志中。 插入位置由日志序列号(LSN)描述,该日志序列号是日志中的字节偏移量, 随每个新记录单调递增。LSN值作为数据类型pg_lsn返回。 值可以进行比...

文章 2018-10-03 来自:开发者社区

PostgreSQL 10.1 手册_部分 III. 服务器管理_第 30 章 可靠性和预写式日志_30.4. WAL配置

30.4. WAL配置 有几个WAL相关的配置参数会影响数据库性能。本节将解释它们的使用。关于服务器配置参数的设置的一般信息请参考第 19 章。 检查点是在事务序列中的点,这种点保证被更新的堆和索引数据文件的所有信息在该检查点之前已被写入。在检查点时刻,所有脏数据页被刷写到磁盘,并且一个特殊的检查点记录将被写入到日志文件(修改记录之前已经被刷写到WAL文件)。在崩溃时...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

数据库

数据库领域前沿技术分享与交流

+关注