您当前的位置:首页 > 电脑百科 > 程序开发 > 架构

PostgreSQL数据库体系架构

时间:2022-05-05 16:23:50  来源:  作者:卖薯条老师
PostgreSQL数据库体系架构

PG架构

进程

说明

Postmaster

主进程

是整个数据库实例的总控进程,负责启动和关闭该数据库实例

Potgres

(常驻进程)

管理后端的常驻进程,也称为“postmaster”。其默认监测UNIXDomAIn Socket和TCP/IP(windows等,一部分的平台只监测TCP/IP)的5432端口,等待来自前端的的连接处理。监测的端口号可以在PostgreSql的设置文件postgresql.conf中修改。

Postgres(子进程)

子进程根据pg_hba.conf定义的安全策略来判断是否允许进行连接,根据策略,会拒绝某些特定的IP及网络,或者也可以只允许某些特定的用户或者对某些数据库进行连接。

Postgres会接受前端过来的查询,然后对数据库进行检索,最后把结果返回,有时也会对数据库进行更新。更新的数据同时还会记录在事务日志里面(PostgreSQL称为WAL日志),这个主要是当停电的时候,服务器宕机,重新启动的时候进行恢复处理的时候使用的。另外,把日志归档保存起来,可在需要进行恢复的时候使用。在PostgreSQL 9.0以后,通过把WAL日志传送其他的PostgreSQL,可以实时地进行数据库复制,这就是所谓的“数据库复制”功能。

PgArch进程

(归档)

WAL日志会被循环使用,PgArch在归档前会把WAL日志备份出来。通过PITR(Point in Time Recovery)技术,可以对数据库进行一次全量备份后,该技术将备份时间点之后的WAL日志通过归档进行备份,使用数据库的全量备份再加上后面产生的WAL日志,即可把数据库向前推到全量备份后的任意一个时间点。

PgStat进程

(统计数据收集)

做数据的统计收集工作。主要用于查询优化时的代价估算,包括一个表和索引进行了多少次的插入、更新、删除操作,磁盘块读写的次数、行的读次数。pg_statistic中存储了PgStat收集的各类信息。

AutoVacuum进程

(自动清理)

在PostgreSQL数据库中,对表进行DELETE操作后,旧的数据并不会立即被删除,并且,在更新数据时,也并不会在旧的数据上做更新,而是新生成一行数据。旧的数据只是被标识为删除状态,只有在没有并发的其他事务读到这些旧数据时,它们才会被清除。这个清除工作就由AutoVacuum进程完成。

BgWriter进程

(后台)

页写到磁盘上的进程。主要是为了提高插入、更新和删除数据的性能。

Wal Writer进程

(预写式日志)

WAL(Write Ahead Log,预写式日志),在修改数据之前把修改操作记录到磁盘中,以便后面更新实时数据时就不需要数据持久化到文件中。

CheckPoint进程

(检查点)

检查点是系统设置的事务序列点,设置检查点保证检查点前的日志信息刷到磁盘中。

Syslogger进程

(系统日志)

将错误信息写到log日志中,需要在Postgres.conf中logging_collection设置为on,此时主进程才会启动Syslogger辅助进程。


PostgreSQL数据库体系架构

 

 

postgresql的物理架构非常简单,它由共享内存、一系列后台进程和数据文件组成。

Shared Memory

共享内存是服务器服务器为数据库缓存和事务日志缓存预留的内存缓存空间。其中最重要的组成部分是Shared Buffer和WAL Buffer。

  • Shared Buffer:是数据页缓冲区。Shared Buffer的目的是减少磁盘IO,大部分oltp工作负载都是随机IO,因此从磁盘获取非常慢。为了解决这个问题,postgre将数据缓存在RAM中,来提高性能。对于shared_buffers,没有一个特定的推荐值。但是一般来说,对于专用DB服务器,shared_buffers的值应该大约是系统总RAM的25%。
  • WAL Buffer:是预写日志(wal)缓冲区。在备份和恢复的场景下,WAL Buffer和WAL文件是极其重要的。如果要调优的系统有大量并发连接,那么wal_buffers的值越高,性能越好。

PostgreSQL 进程类型

PostgreSQL有四种进程类型

  1. Postmaster (Daemon) Process(主后台驻留进程)
  2. Background Process(后台进程)
  3. Backend Process(后端进程)
  4. Client Process(客户端进程)
  • Postmaster Process:PostgreSQL启动时第一个启动的进程。启动时,他会执行恢复、初始化共享内存的运行后台进程操作。运行期间,当有客户端发起链接请求时,它还负责创建后端进程。
PostgreSQL数据库体系架构

 

如果通过pstree命令查看进程之间的关系,你会发现Postmaster进程是其他所有进程的父进程。

PostgreSQL数据库体系架构

 

Background Process

PgArch进程

(归档)

WAL日志会被循环使用,PgArch在归档前会把WAL日志备份出来。通过PITR(Point in Time Recovery)技术,可以对数据库进行一次全量备份后,该技术将备份时间点之后的WAL日志通过归档进行备份,使用数据库的全量备份再加上后面产生的WAL日志,即可把数据库向前推到全量备份后的任意一个时间点。

PgStat进程

(统计数据收集)

做数据的统计收集工作。主要用于查询优化时的代价估算,包括一个表和索引进行了多少次的插入、更新、删除操作,磁盘块读写的次数、行的读次数。pg_statistic中存储了PgStat收集的各类信息。

AutoVacuum进程

(自动清理)

在PostgreSQL数据库中,对表进行DELETE操作后,旧的数据并不会立即被删除,并且,在更新数据时,也并不会在旧的数据上做更新,而是新生成一行数据。旧的数据只是被标识为删除状态,只有在没有并发的其他事务读到这些旧数据时,它们才会被清除。这个清除工作就由AutoVacuum进程完成。

BgWriter进程

(后台)

页写到磁盘上的进程。主要是为了提高插入、更新和删除数据的性能。

Wal Writer进程

(预写式日志)

WAL(Write Ahead Log,预写式日志),在修改数据之前把修改操作记录到磁盘中,以便后面更新实时数据时就不需要数据持久化到文件中。

CheckPoint进程

(检查点)

检查点是系统设置的事务序列点,设置检查点保证检查点前的日志信息刷到磁盘中。

Syslogger进程

(系统日志)

需要在Postgres.conf中logging_collection设置为on,此时主进程才会启动Syslogger辅助进程。

Backend Process

  最大后台链接数通过max_connections参数设定,默认值为100。后端进程用于处理前端用户请求并返回结果。查询运行时需要一些内存结构,就是所谓的本地内存(local memory)。本地内存涉及的主要参数有:

work_mem:用于排序、位图索引、哈希链接和合并链接操作。默认值为4MB。

maintenance_work_mem:用于vacuum和创建索引操作。默认值为64MB。

temp_buffers:用于临时表。默认值为8MB。

Client Process

  客户端进程需要和后端进程配合使用,处理每一个客户链接。通常情况下,Postmaster进程会派生一个子进程用来处理用户连接。

数据库结构

数据库相关概念:

  1. PostgreSQL由一系列数据库组成。一套PostgreSQL程序称之为一个数据库群集。
  2. 当initdb()命令执行后,template0 , template1 , 和postgres数据库被创建。
  3. template0和template1数据库是创建用户数据库时使用的模版数据库,他们包含系统元数据表。
  4. initdb()刚完成后,template0和template1数据库中的表是一样的。但是template1数据库可以根据用户需要创建对象。
  5. 用户数据库是通过克隆template1数据库来创建的;

表空间相关概念:

  1. initdb()后马上创建pg_default和pg_global表空间。
  2. 建表时如果没有指定特定的表空间,表默认被存在pg_default表空间中。
  3. 用于管理整个数据库集群的表默认被存储在pg_global表空间中。
  4. pg_default表空间的物理位置为$PGDATAbase目录。
  5. pg_global表空间的物理位置为$PGDATAglobal目录。
  6. 一个表空间可以被多个数据库同时使用。此时,每一个数据库都会在表空间路径下创建为一个新的子路径。
  7. 创建一个用户表空间会在$PGDATApg_tblspc目录下面创建一个软连接,连接到表空间制定的目录位置。

表相关概念:

  1. 每个表有三个数据文件。
  2. 一个文件用于存储数据,文件名是表的OID。
  3. 一个文件用于管理表的空闲空间,文件名是OID_fsm。
  4. 一个文件用于管理表的块是否可见,文件名是OID_vm。
  5. 索引没有_vm文件,只有OID和OID_fsm两个文件


Tags:PostgreSQL   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
快速上手 PostgreSQL:掌握PSQL 命令行工具连接技巧
当涉及到使用 PostgreSQL 数据库时,psql 是一个强大且常用的命令行工具。它提供了与 PostgreSQL 数据库进行交互的功能,允许你执行 SQL 查询、管理数据库对象、导入和导出数据...【详细内容】
2023-12-14  Search: PostgreSQL  点击:(154)  评论:(0)  加入收藏
为何在中国 MySQL 远比 PostgreSQL 流行?
首先在全球范围内,MySQL 一直是领先于 PostgreSQL (下文简称 PG) 的。下图是 DB-Engines 的趋势图,虽然 PG 是近 10 年增长最快的数据库,但 MySQL 依然保持着优势。再来看一下...【详细内容】
2023-12-11  Search: PostgreSQL  点击:(203)  评论:(0)  加入收藏
数据库迁移:从 SQL Server 到 PostgreSQL
作者 | 何蔚一、背景在这个数字化时代,企业的复杂业务逻辑运转需要依赖复杂的业务服务来完成。这些业务服务通常会经历变更、拆分、合并和上云等过程,最终与一些商业软件和云...【详细内容】
2023-11-29  Search: PostgreSQL  点击:(241)  评论:(0)  加入收藏
PostgreSQL到底好不好?为什么互联网公司不敢用呢?
之前呢!笔者在某平台上看了关于PostgreSQL相关的内容,并且看到下面评论中问到关于PostgreSQL这个数据库到底好不好用。那么下面我们就来聊聊关于PostgreSQL相关的内容,并且相...【详细内容】
2023-11-09  Search: PostgreSQL  点击:(282)  评论:(0)  加入收藏
今天测试一下 1 亿条数据,MySQL 和 PostgreSQL 的性能表现
今天测试一下 1 亿条数据,MySQL 和 PostgreSQL 的性能表现。说明下,只是做一些基本的测试,并没有用一些数据库 Benchmark 工具进行测试。准备建表语句:CREATE TABLE user_mysql...【详细内容】
2023-09-28  Search: PostgreSQL  点击:(361)  评论:(0)  加入收藏
十分钟掌握Doris,超越Hive、Elasticsearch和PostgreSQL
以前,数据仓库通常由Apache Hive、MySQL、Elasticsearch和PostgreSQL组成。它们支持数据仓库的数据计算和数据存储层: 数据计算:Apache Hive作为计算引擎。 数据存储:MySQL为Dat...【详细内容】
2023-09-27  Search: PostgreSQL  点击:(228)  评论:(0)  加入收藏
centos7 下安装PostgreSQL 及timescaledb 的过程
前期准备先删除现有的PostgreSQL 比如13使用 sudo yum remove postgresql13-server postgresql13-contrib 该命令将会删除安装包及其依赖项。卸载完成后,为了确保 PostgreSQ...【详细内容】
2023-09-26  Search: PostgreSQL  点击:(455)  评论:(0)  加入收藏
PostgreSQL vs MySQL - 1000万数据批量插入,谁能略胜一筹
之前测试MySQL批量插入,发现慢的离谱,找了下原因,竟然是少了个参数,rewriteBatchedStatements=true。昨天《PostgreSQL vs MySQL - 30倍性能差异》这个原因也找到了,汗颜。rewri...【详细内容】
2023-09-25  Search: PostgreSQL  点击:(343)  评论:(0)  加入收藏
为什么越来越多的人选择PostgreSQL,放弃了MySQL
2023年Stack Overflow 调查显示,Postgres 已经取代 MySQL 成为第一名,成为最受欢迎的数据库。虽然这是国外统计,在中国应该还是MySQL更有广泛度,但足以说明问题,PostgreSQL的市场...【详细内容】
2023-09-15  Search: PostgreSQL  点击:(303)  评论:(0)  加入收藏
如何迁移一个 3TB 的 PostgreSQL 数据库数据
【CSDN 编者按】这篇文章分享了作者作为一位全栈开发者,在三周内将一个 3TB 的 PostgreSQL 数据库从 AWS 迁移到 Azure DevOps 的过程和经验,以及遇到的挑战和解决方案。原文...【详细内容】
2023-09-04  Search: PostgreSQL  点击:(285)  评论:(0)  加入收藏
▌简易百科推荐
对于微服务架构监控应该遵守的原则
随着软件交付方式的变革,微服务架构的兴起使得软件开发变得更加快速和灵活。在这种情况下,监控系统成为了微服务控制系统的核心组成部分。随着软件的复杂性不断增加,了解系统的...【详细内容】
2024-04-03  步步运维步步坑    Tags:架构   点击:(7)  评论:(0)  加入收藏
大模型应用的 10 种架构模式
作者 | 曹洪伟在塑造新领域的过程中,我们往往依赖于一些经过实践验证的策略、方法和模式。这种观念对于软件工程领域的专业人士来说,已经司空见惯,设计模式已成为程序员们的重...【详细内容】
2024-03-27    InfoQ  Tags:架构模式   点击:(18)  评论:(0)  加入收藏
哈啰云原生架构落地实践
一、弹性伸缩技术实践1.全网容器化后一线研发的使用问题全网容器化后一线研发会面临一系列使用问题,包括时机、容量、效率和成本问题,弹性伸缩是云原生容器化后的必然技术选择...【详细内容】
2024-03-27  哈啰技术  微信公众号  Tags:架构   点击:(13)  评论:(0)  加入收藏
DDD 与 CQRS 才是黄金组合
在日常工作中,你是否也遇到过下面几种情况: 使用一个已有接口进行业务开发,上线后出现严重的性能问题,被老板当众质疑:“你为什么不使用缓存接口,这个接口全部走数据库,这怎么能扛...【详细内容】
2024-03-27  dbaplus社群    Tags:DDD   点击:(15)  评论:(0)  加入收藏
高并发架构设计(三大利器:缓存、限流和降级)
软件系统有三个追求:高性能、高并发、高可用,俗称三高。本篇讨论高并发,从高并发是什么到高并发应对的策略、缓存、限流、降级等。引言1.高并发背景互联网行业迅速发展,用户量剧...【详细内容】
2024-03-13    阿里云开发者  Tags:高并发   点击:(10)  评论:(0)  加入收藏
如何判断架构设计的优劣?
架构设计的基本准则是非常重要的,它们指导着我们如何构建可靠、可维护、可测试的系统。下面是这些准则的转换表达方式:简单即美(KISS):KISS原则的核心思想是保持简单。在设计系统...【详细内容】
2024-02-20  二进制跳动  微信公众号  Tags:架构设计   点击:(40)  评论:(0)  加入收藏
详解基于SpringBoot的WebSocket应用开发
在现代Web应用中,实时交互和数据推送的需求日益增长。WebSocket协议作为一种全双工通信协议,允许服务端与客户端之间建立持久性的连接,实现实时、双向的数据传输,极大地提升了用...【详细内容】
2024-01-30  ijunfu  今日头条  Tags:SpringBoot   点击:(23)  评论:(0)  加入收藏
PHP+Go 开发仿简书,实战高并发高可用微服务架构
来百度APP畅享高清图片//下栽のke:chaoxingit.com/2105/PHP和Go语言结合,可以开发出高效且稳定的仿简书应用。在实现高并发和高可用微服务架构时,我们可以采用一些关键技术。首...【详细内容】
2024-01-14  547蓝色星球    Tags:架构   点击:(124)  评论:(0)  加入收藏
GraalVM与Spring Boot 3.0:加速应用性能的完美融合
在2023年,SpringBoot3.0的发布标志着Spring框架对GraalVM的全面支持,这一支持是对Spring技术栈的重要补充。GraalVM是一个高性能的多语言虚拟机,它提供了Ahead-of-Time(AOT)编...【详细内容】
2024-01-11    王建立  Tags:Spring Boot   点击:(133)  评论:(0)  加入收藏
Spring Boot虚拟线程的性能还不如Webflux?
早上看到一篇关于Spring Boot虚拟线程和Webflux性能对比的文章,觉得还不错。内容较长,抓重点给大家介绍一下这篇文章的核心内容,方便大家快速阅读。测试场景作者采用了一个尽可...【详细内容】
2024-01-10  互联网架构小马哥    Tags:Spring Boot   点击:(131)  评论:(0)  加入收藏
站内最新
站内热门
站内头条