您当前的位置:首页 > 电脑百科 > 站长技术 > 服务器

学习Nginx的正确姿势,多图详解助你更上一层楼!

时间:2020-05-20 11:28:27  来源:  作者:

本文主要帮助大家熟悉 Nginx 有哪些应用场景、Nginx 特点和架构模型以及相关流程、Nginx 定制化开发的几种模块分类。

学习Nginx的正确姿势,多图详解助你更上一层楼!(干货收藏篇)

 

本文将围绕如下几个部分进行讲解:

  • Nginx 简介及特点
  • Nginx 应用场景
  • Nginx 框架模型介绍
  • Nginx 内部流程介绍
  • Nginx 自定义模块开发介绍
  • Nginx 核心时间点模块介绍
  • Nginx 分流模块介绍
  • Nginx 动态 upstream 模块介绍
  • Nginx query_upstrem 模块介绍
  • Nginx query_conf 模块介绍
  • Nginx 共享内存支持 redis 协议模块介绍
  • Nginx 日志回放压测工具介绍

Nginx 简介以及特点

Nginx (engine x) 是一个高性能的 Web 服务器和反向代理服务器,也是一个 IMAP/POP3/SMTP 服务器:

  • 它由俄罗斯程序员 Igor Sysoev 于 2002 年开始开发。
  • Nginx 是增长最快的 Web 服务器,市场份额已达 33.3%。
  • 全球使用量排名第二,2011 年成立商业公司

Nginx 社区分支:

  • Openresty:作者 @agentzh(章宜春)开发的,最大特点是引入了 ngx_lua 模块,支持使用 Lua 开发插件,并且集合了很多丰富的模块,以及 Lua 库。
  • Tengine:主要是淘宝团队开发。特点是融入了因淘宝自身的一些业务带来的新功能。
  • Nginx 官方版本,更新迭代比较快,并且提供免费版本和商业版本。

Nginx 源码结构(代码量大约 11 万行 C 代码):

  • 源代码目录结构 Core(主干和基础设置)
  • Event(事件驱动模型和不同的 IO 复用模块)
  • HTTP(HTTP 服务器和模块)
  • Mail(邮件代理服务器和模块)
  • OS(操作系统相关的实现)
  • Misc(杂项)

Nginx 特点如下:

  • 反向代理,负载均衡器
  • 高可靠性、单 Master 多 Worker 模式
  • 高可扩展性、高度模块化
  • 非阻塞
  • 事件驱动
  • 低内存消耗
  • 热部署

Nginx 应用场景

Nginx 的应用场景如下:

  • 静态文件服务器
  • 反向代理,负载均衡
  • 安全防御
  • 智能路由(企业级灰度测试、地图 POI 一键切流)
  • 灰度发布
  • 静态化
  • 消息推送
  • 图片实时压缩
  • 防盗链

Nginx 框架模型介绍

进程组件角色:

  • Master 进程:监视工作进程的状态;当工作进程死掉后重启一个新的;处理信号和通知工作进程。
  • Worker 进程:处理客户端请求,从主进程处获得信号做相应的事情。
  • Cache Loader 进程:加载缓存索引文件信息,然后退出。
  • Cache Manager进程:管理磁盘的缓存大小,超过预定值大小后最少使用数据将被删除。

Nginx 的框架模型如下图:

学习Nginx的正确姿势,多图详解助你更上一层楼!(干货收藏篇)

 

框架模型流程如下图:

学习Nginx的正确姿势,多图详解助你更上一层楼!(干货收藏篇)

 

Nginx 内部流程介绍

Nginx 框架模型流程如下图:

学习Nginx的正确姿势,多图详解助你更上一层楼!(干货收藏篇)

 

Master 初始化流程,如下图:

学习Nginx的正确姿势,多图详解助你更上一层楼!(干货收藏篇)

 

Worker 初始化:

学习Nginx的正确姿势,多图详解助你更上一层楼!(干货收藏篇)

 

Worker 初始化流程图如下:

学习Nginx的正确姿势,多图详解助你更上一层楼!(干货收藏篇)

 

静态文件请求 IO 流程如下图:

学习Nginx的正确姿势,多图详解助你更上一层楼!(干货收藏篇)

 

HTTP 请求流程如下图:

学习Nginx的正确姿势,多图详解助你更上一层楼!(干货收藏篇)

 

HTTP 请求 11 个阶段,如下图所示:

学习Nginx的正确姿势,多图详解助你更上一层楼!(干货收藏篇)

 

upstream模块:

  • 访问第三方 Server 服务器
  • 底层 HTTP 通信非常完善
  • 异步非阻塞
  • 上下游内存零拷贝,节省内存
  • 支持自定义模块开发

upstream 框架流程,如下图:

学习Nginx的正确姿势,多图详解助你更上一层楼!(干货收藏篇)

 

upstream 内部流程,如下图:

学习Nginx的正确姿势,多图详解助你更上一层楼!(干货收藏篇)

 

反向代理流程,如下图:

学习Nginx的正确姿势,多图详解助你更上一层楼!(干货收藏篇)

 

Nginx 定制化模块开发

Nginx 的模块化设计特点如下:

  • 高度抽象的模块接口
  • 模块接口非常简单,具有很高的灵活性
  • 配置模块的设计
  • 核心模块接口的简单化
  • 多层次、多类别的模块设计

内部核心模块:

学习Nginx的正确姿势,多图详解助你更上一层楼!(干货收藏篇)

 


学习Nginx的正确姿势,多图详解助你更上一层楼!(干货收藏篇)

 

Handler 模块:接受来自客户端的请求并构建响应头和响应体。

学习Nginx的正确姿势,多图详解助你更上一层楼!(干货收藏篇)

 

Filter 模块:过滤(filter)模块是过滤响应头和内容的模块,可以对回复的头和内容进行处理。它的处理时间在获取回复内容之后,向用户发送响应之前。

学习Nginx的正确姿势,多图详解助你更上一层楼!(干货收藏篇)

 

Upstream 模块:使 Nginx 跨越单机的限制,完成网络数据的接收、处理和转发,纯异步的访问后端服务。

学习Nginx的正确姿势,多图详解助你更上一层楼!(干货收藏篇)

 

Load_Balance:负载均衡模块,实现特定的算法,在众多的后端服务器中,选择一个服务器出来作为某个请求的转发服务器。

学习Nginx的正确姿势,多图详解助你更上一层楼!(干货收藏篇)

 

ngx_lua 模块:

  • 脚本语言
  • 内存开销小
  • 运行速度快
  • 强大的 Lua 协程
  • 非阻塞
  • 业务逻辑以自然逻辑书写
学习Nginx的正确姿势,多图详解助你更上一层楼!(干货收藏篇)

 

定制化开发 Demo

Handler 模块:

  • 编写 config 文件
  • 编写模块产生内容响应信息
#配置文件: 
server { 
    ...     
    location test { 
        test_counter on; 
    } 
} 
#config 
ngx_addon_name=ngx_http_test_module 
HTTP_MODULES="$HTTP_MODULES ngx_http_test_module" 
NGX_ADDON_SRCS="$NGX_ADDON_SRCS $ngx_addon_dir/ngx_http_test_module.c" 
#ngx_http_test_module.c 
static ngx_int_t 
ngx_http_test_handler(ngx_http_request_t *r) 
{ 
    ngx_int_t                               rc; 
    ngx_buf_t                               *b; 
    ngx_chain_t                             out; 
    ngx_http_test_conf_t                    *lrcf; 
    ngx_str_t                               ngx_test_string = ngx_string("hello test"); 
 
    lrcf = ngx_http_get_module_loc_conf(r, ngx_http_test_module); 
    if ( lrcf->test_counter == 0 ) { 
        return NGX_DECLINED; 
    } 
 
    /* we response to 'GET' and 'HEAD' requests only */ 
    if ( !(r->method & (NGX_HTTP_GET|NGX_HTTP_HEAD)) ) { 
            return NGX_HTTP_NOT_ALLOWED; 
    } 
 
    /* discard request body, since we don't need it here */ 
    rc = ngx_http_discard_request_body(r); 
 
    if ( rc != NGX_OK ) { 
        return rc; 
    } 
 
    /* set the 'Content-type' header */ 
    /* 
     *r->headers_out.content_type.len = sizeof("text/html") - 1; 
     *r->headers_out.content_type.data = (u_char *)"text/html"; 
    */ 
    ngx_str_set(&r->headers_out.content_type, "text/html"); 
 
    /* send the header only, if the request type is http 'HEAD' */ 
    if ( r->method == NGX_HTTP_HEAD ) { 
        r->headers_out.status = NGX_HTTP_OK; 
        r->headers_out.content_length_n = ngx_test_string.len; 
 
        return ngx_http_send_header(r); 
    } 
 
    /* set the status line */ 
    r->headers_out.status = NGX_HTTP_OK; 
    r->headers_out.content_length_n =  ngx_test_string.len; 
 
    /* send the headers of your response */ 
    rc = ngx_http_send_header(r); 
    if ( rc == NGX_ERROR || rc > NGX_OK || r->header_only ) { 
        return rc; 
    } 
 
    /* allocate a buffer for your response body */ 
    b = ngx_pcalloc(r->pool, sizeof(ngx_buf_t)); 
    if ( b == NULL ) { 
        return NGX_HTTP_INTERNAL_SERVER_ERROR; 
    } 
 
    /* attach this buffer to the buffer chain */ 
    out.buf = b; 
    out.next = NULL; 
 
    /* adjust the pointers of the buffer */ 
    b->pos = ngx_test_string.data; 
    b->last = ngx_test_string.data + ngx_test_string.len; 
    b->memory = 1;    /* this buffer is in memory */ 
    b->last_buf = 1;  /* this is the last buffer in the buffer chain */ 
 
    /* send the buffer chain of your response */ 
    return ngx_http_output_filter(r, &out); 
} 

Nginx 核心时间点模块介绍

解决接入层故障定位慢的问题,帮助 OP 快速判定问题根因,优先自证清白,提高接入层高效的生产力。

学习Nginx的正确姿势,多图详解助你更上一层楼!(干货收藏篇)

 

Nginx 分流模块介绍

Nginx 分流模块特点如下:

  • 实现非常灵活的动态的修改策略从而进行切流量。
  • 实现平滑无损的方式进行流量的切换。
  • 通过秒级切换流量可以缩小影响范围,从而减少损失。
  • 按照某一城市或者某个特征,秒级进行切换流量或者禁用流量。
  • 容忍单机房级别容量故障,缩短了单机房故障的止损时间。
  • 快速的将流量隔离或者流量抽样。
  • 高效的灰度测试,提高生产力。
学习Nginx的正确姿势,多图详解助你更上一层楼!(干货收藏篇)

 

Nginx 动态 upstream 模块介绍

让接入层可以适配动态调度的云环境,实现服务的平滑上下线、弹性扩/缩容。

从而提高接入层高效的生产力以及稳定性,保证业务流量的平滑无损。

学习Nginx的正确姿势,多图详解助你更上一层楼!(干货收藏篇)

 

Nginx query_upstream 模块介绍

链路追踪,梳理接口到后端链路的情况。查询 location 接口对应 upstream server 信息。

学习Nginx的正确姿势,多图详解助你更上一层楼!(干货收藏篇)

 

Nginx query_conf 模块介绍

获取 Nginx 配置文件格式化为 json 格式信息:

学习Nginx的正确姿势,多图详解助你更上一层楼!(干货收藏篇)

 

Nginx 共享内存支持 Redis 协议模块介绍

根据配置文件来动态的添加共享内存:

https://github.com/lidaohang/ngx_shm_dict  

ngx_shm_dict:共享内存核心模块(红黑树,队列)

ngx_shm_dict_manager:添加定时器事件,定时的清除共享内存中过期的 Key,添加读事件,支持 Redis 协议,通过 redis-cli get,set,del,ttl

ngx_shm_dict_view:共享内存查看

学习Nginx的正确姿势,多图详解助你更上一层楼!(干货收藏篇)

 

Nginx 日志回放压测工具

解析日志进行回放压测,模拟后端服务器慢等各种异常情况 :

https://github.com/lidaohang/playback-testing 

方案说明:

  • 客户端解析 access.log 构建请求的 host,port,url,body。
  • 把后端响应时间,后端响应状态码,后端响应大小放入 header 头中。
  • 后端服务器获取相应的 header,进行模拟响应 body 大小,响应状态码,响应时间。

使用方式:

  • 拷贝需要测试的 access.log 的日志到 logs 文件夹里面。
  • 搭建需要测试的 Nginx 服务器,并且配置 upstream 指向后端服务器端口
  • 启动后端服务器实例
server/backserver/main.go 
  • 进行压测
bin/wrk -c30 -t1 -s conf/nginx_log.lua http://localhost:8095 

以上有不足的地方可以指出讨论,觉得不错的朋友希望能得到您的转发支持,同时可以持续关注我,每天分享linux C/C++后台开发干货内容!



Tags:Nginx   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
项目中,遇到了一个问题,就是PDF等文档不能够在线预览,预览时会报错。错误描述浏览器的console中,显示如下错误:nginx代理服务报Mixed Content: The page at ******** was loaded...【详细内容】
2021-12-17  Tags: Nginx  点击:(7)  评论:(0)  加入收藏
前言Nginx是前后端开发工程师必须掌握的神器。该神器有很多使用场景,比如反向代理、负载均衡、动静分离、跨域等等。把 Nginx下载下来,打开conf文件夹的nginx.conf文件,Nginx服...【详细内容】
2021-12-08  Tags: Nginx  点击:(18)  评论:(0)  加入收藏
最近客户有个新需求,就是想查看网站的访问情况,由于网站没有做google的统计和百度的统计,所以访问情况,只能通过日志查看,通过脚本的形式给客户导出也不太实际,给客户写个简单的页...【详细内容】
2021-10-09  Tags: Nginx  点击:(48)  评论:(0)  加入收藏
安全服务器是只允许所需数量的服务器。理想情况下,我们将通过单独启用其他功能来基于最小系统构建服务器。进行最少的配置也有助于调试。如果该错误在最小系统中不可用,则分别...【详细内容】
2021-09-26  Tags: Nginx  点击:(60)  评论:(0)  加入收藏
在今年的NGINX Sprint 2.0虚拟大会上,NGINX(来自流行的开源web服务器/负载均衡器和反向代理背后的公司F5),发布了NGINX现代应用参考架构(MARA)。该公司在一篇博客文章中说,这将帮...【详细内容】
2021-09-26  Tags: Nginx  点击:(61)  评论:(0)  加入收藏
Ubuntu下安装Nginx一、系统基本信息查看1、查看Ubuntu版本信息:使用命令:cat /proc/version 查看~$ cat /proc/versionLinux version 4.15.0-106-generic (buildd@lcy01-amd6...【详细内容】
2021-09-16  Tags: Nginx  点击:(60)  评论:(0)  加入收藏
出于安全审查或者对于系统安全性的要求,都要求我们生产环境部署的系统需要做一定的权限控制。那么如何简单快速地部署满足安全要求的权限系统呢?其实可以通过nginx的相关功能...【详细内容】
2021-09-07  Tags: Nginx  点击:(69)  评论:(0)  加入收藏
什么是NginxNginx(engine x)是一个高性能的HTTP和反向代理服务器,具有内存少,高并发特点强。1、处理静态文件,索引文件以及自动检索打开文件描述符缓冲2、无缓冲的反向代理加速...【详细内容】
2021-09-02  Tags: Nginx  点击:(70)  评论:(0)  加入收藏
本文适用于 php7.4+NGINX环境,适用于运行 wordpress 环境一、更新服务器sudo apt update二、命令快捷缩写设置通过ssh登录服务器,在用户目录下执行以下命令sudo nano .bashrca...【详细内容】
2021-08-31  Tags: Nginx  点击:(87)  评论:(0)  加入收藏
一、nginx正向代理介绍及配置(需要在客户端配置代理服务器进行指定网站访问)#模块 ngx_http_proxy_module: http://nginx.org/en/docs/http/ngx_http_proxy_module.html#proxy...【详细内容】
2021-08-16  Tags: Nginx  点击:(76)  评论:(0)  加入收藏
▌简易百科推荐
阿里云镜像源地址及安装网站地址https://developer.aliyun.com/mirror/centos?spm=a2c6h.13651102.0.0.3e221b111kK44P更新源之前把之前的国外的镜像先备份一下 切换到yumcd...【详细内容】
2021-12-27  干程序那些事    Tags:CentOS7镜像   点击:(1)  评论:(0)  加入收藏
前言在实现TCP长连接功能中,客户端断线重连是一个很常见的问题,当我们使用netty实现断线重连时,是否考虑过如下几个问题: 如何监听到客户端和服务端连接断开 ? 如何实现断线后重...【详细内容】
2021-12-24  程序猿阿嘴  CSDN  Tags:Netty   点击:(12)  评论:(0)  加入收藏
一. 配置yum源在目录 /etc/yum.repos.d/ 下新建文件 google-chrome.repovim /etc/yum.repos.d/google-chrome.repo按i进入编辑模式写入如下内容:[google-chrome]name=googl...【详细内容】
2021-12-23  有云转晴    Tags:chrome   点击:(7)  评论:(0)  加入收藏
一. HTTP gzip压缩,概述 request header中声明Accept-Encoding : gzip,告知服务器客户端接受gzip的数据 response body,同时加入以下header:Content-Encoding: gzip:表明bo...【详细内容】
2021-12-22  java乐园    Tags:gzip压缩   点击:(9)  评论:(0)  加入收藏
yum -y install gcc automake autoconf libtool makeadduser testpasswd testmkdir /tmp/exploitln -s /usr/bin/ping /tmp/exploit/targetexec 3< /tmp/exploit/targetls -...【详细内容】
2021-12-22  SofM    Tags:Centos7   点击:(7)  评论:(0)  加入收藏
Windows操作系统和Linux操作系统有何区别?Windows操作系统:需支付版权费用,(华为云已购买正版版权,在华为云购买云服务器的用户安装系统时无需额外付费),界面化的操作系统对用户使...【详细内容】
2021-12-21  卷毛琴姨    Tags:云服务器   点击:(6)  评论:(0)  加入收藏
参考资料:Hive3.1.2安装指南_厦大数据库实验室博客Hive学习(一) 安装 环境:CentOS 7 + Hadoop3.2 + Hive3.1 - 一个人、一座城 - 博客园1.安装hive1.1下载地址hive镜像路径 ht...【详细内容】
2021-12-20  zebra-08    Tags:Hive   点击:(9)  评论:(0)  加入收藏
以下是服务器安全加固的步骤,本文以腾讯云的CentOS7.7版本为例来介绍,如果你使用的是秘钥登录服务器1-5步骤可以跳过。1、设置复杂密码服务器设置大写、小写、特殊字符、数字...【详细内容】
2021-12-20  网安人    Tags:服务器   点击:(7)  评论:(0)  加入收藏
项目中,遇到了一个问题,就是PDF等文档不能够在线预览,预览时会报错。错误描述浏览器的console中,显示如下错误:nginx代理服务报Mixed Content: The page at ******** was loaded...【详细内容】
2021-12-17  mdong    Tags:Nginx   点击:(7)  评论:(0)  加入收藏
转自: https://kermsite.com/p/wt-ssh/由于格式问题,部分链接、表格可能会失效,若失效请访问原文密码登录 以及 通过密钥实现免密码登录Dec 15, 2021阅读时长: 6 分钟简介Windo...【详细内容】
2021-12-17  LaLiLi    Tags:SSH连接   点击:(16)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条