上传文件至 /
This commit is contained in:
parent
5bf95d7232
commit
0f9208d9c3
390
nginx优化.md
Normal file
390
nginx优化.md
Normal file
@ -0,0 +1,390 @@
|
||||
<h2><center>Nginx 优化</center></h2>
|
||||
|
||||
------
|
||||
|
||||
## 一:Nginx 监控
|
||||
|
||||
### 1. 简介
|
||||
|
||||
nginx的基础监控
|
||||
|
||||
```ini
|
||||
- 进程监控
|
||||
- 端口监控
|
||||
```
|
||||
|
||||
注意: 这两个是必须要加在zabbix监控,加触发器有问题及时告警。
|
||||
|
||||
nginx 提供了 ngx_http_stub_status_module,ngx_http_reqstat_module模块,这个模块提供了基本的监控功能。
|
||||
|
||||
### 2. 监控指标
|
||||
|
||||
基本指标:
|
||||
|
||||
- Accepts(接受)、Handled(已处理)、Requests(请求数)是一直在增加的计数器。
|
||||
- Active(活跃)、Waiting(等待)、Reading(读)、Writing(写)随着请求量而增减。
|
||||
- Accepts:Nginx所接受的客户端连接数。
|
||||
- Handled:成功的客户端连接数。
|
||||
|
||||
每秒请求数 -- QPS:
|
||||
|
||||
通过持续的 QPS 监控,可以立刻发现是否被恶意攻击或对服务的可用性进行评估。虽然当问题发生时,通过 QPS 不能定位到确切问题的位置,但是他却可以在第一时间提醒你环境可能出问题了。
|
||||
|
||||
服务器错误率:
|
||||
|
||||
通过监控固定时间间隔内的错误代码(4XX代码表示客户端错误,5XX代码表示服务器端错误)。
|
||||
|
||||
请求处理时间:
|
||||
|
||||
请求处理时间也可以被记录在 access log 中,通过分析 access log,统计请求的平均响应时间,通过持续观察,可以发现上游服务器的问题。 ----$request_time 变量
|
||||
|
||||
### 3. 指标搜索
|
||||
|
||||
通过在编译时加入 nginx 的 ngx_http_stub_status_module 模块我们可以实时监控以下基本的指标。
|
||||
|
||||
检查是否安装模块:
|
||||
|
||||
```bash
|
||||
[root@test ~]# nginx -V
|
||||
```
|
||||
|
||||
如果没有此模块,需要重新安装,编译命令如下:
|
||||
|
||||
```bash
|
||||
[root@test ~]# ./configure --with-http_stub_status_module
|
||||
```
|
||||
|
||||
修改配置文件:
|
||||
|
||||
```bash
|
||||
[root@test ~]# vim /etc/nginx/conf.d/status.conf
|
||||
server {
|
||||
listen 80;
|
||||
server_name localhost;
|
||||
|
||||
location /nginx-status {
|
||||
stub_status on;
|
||||
access_log on;
|
||||
}
|
||||
}
|
||||
```
|
||||
|
||||
获取数据:
|
||||
|
||||
配置完成后在浏览器中输入http://10.0.105.207/nginx-status 查看
|
||||
|
||||
```shell
|
||||
Active connections: 1
|
||||
server accepts handled requests
|
||||
2 2 4
|
||||
Reading: 0 Writing: 1 Waiting: 0
|
||||
```
|
||||
|
||||
参数解释:
|
||||
|
||||
```shell
|
||||
Active connections:2 #当前nginx处理请求的数目(活跃的连接数)
|
||||
server accepts handled requests 26 26 48
|
||||
nginx总共处理了26个连接,成功创建26次握手,也就是成功的连接数connection. 总共处理了48个请求
|
||||
失败连接=(总连接数-成功连接数)(相等表示中间没有失败的),
|
||||
Reading : nginx读取到客户端的Header信息数。请求头 -----速度快。
|
||||
Writing :nginx返回给客户端的Header信息数。响应头
|
||||
Waiting :开启keep-alive的情况下,意思就是Nginx说已经处理完正在等候下一次请求指令的驻留连接
|
||||
```
|
||||
|
||||
|
||||
|
||||
## 二:HTTPS 技术
|
||||
|
||||
### 1. 简介
|
||||
|
||||
HTTPS(全称:HyperText Transfer Protocol over Secure Socket Layer),其实 HTTPS 并不是一个新鲜协议,Google 很早就开始启用了,初衷是为了保证数据安全。 近些年,Google、Baidu、Facebook 等这样的互联网巨头,不谋而合地开始大力推行 HTTPS, 国内外的大型互联网公司很多也都已经启用了全站 HTTPS,这也是未来互联网发展的趋势。数据在传输的过程中没有进行加密的处理,利用第三黑客软件(kali 中间人),可以进行数据的窃听/盗取(明文传输);https 在数据传输的过程中进行加密处理,然后在去进行传输 电商 政府。
|
||||
|
||||
### 2. 加密算法
|
||||
|
||||
对称加密:A要给B发送数据
|
||||
|
||||
- A做一个对称密钥。
|
||||
- 使用密钥给文件加密。
|
||||
- 发送加密以后的文件和钥匙。
|
||||
- B拿钥匙解密
|
||||
|
||||
注意:加密和解密都是使用的同一个密钥
|
||||
|
||||
非对称加密 ---- 公钥加密,私钥解密 :A要给B发送数据
|
||||
|
||||
- B做一对非对称的密钥
|
||||
- 发送公钥给A
|
||||
- A拿公钥对数据进行加密
|
||||
- 发送加密后的数据给B
|
||||
- B拿私钥解密
|
||||
|
||||
总结:
|
||||
|
||||
Alice 在盒子里放有信息,盒子上有挂锁,她有钥匙。通过邮局她把这个盒子寄给Bob。Bob收到盒子后,用相同的钥匙打开盒子(钥匙之前就得到了,可能是Alice面对面给他的)。然后Bob可以用同样的方法回复。
|
||||
|
||||
Bob和Alice各有自己的盒子。Alice要跟Bob秘密通信,她先让Bob把开着的盒子通过邮局发给她。Alice拿到盒子后放入信息锁上,然后发给Bob。Bob就可以用他自己的钥匙打开了。回复的话就用同样的方法。信息接受者有两把钥匙:一把“公匙”,一把“私匙”。公匙是给信息发送者用来加密的,私匙是自己用来解密的,不必通过不安全的渠道发送私密的东西。公匙本来就是给别人用的,不用藏好。你的私匙在你产生私匙的电脑里保存着。
|
||||
|
||||
### 3. 哈希算法
|
||||
|
||||
将任意长度的信息转换为较短的固定长度的值,通常其长度要比信息小得多。
|
||||
|
||||
例如:MD5、SHA-1、SHA-2、SHA-256 、SM9 等
|
||||
|
||||
### 4. 数字签字
|
||||
|
||||
签名就是在信息的后面再加上一段内容(信息经过hash后的值),可以证明信息没有被修改过。hash值一般都会加密后(也就是签名)再和信息一起发送,以保证这个hash值不被修改。
|
||||
|
||||
### 5. https 协议
|
||||
|
||||
- HTTP 协议(HyperText Transfer Protocol,超文本传输协议):是客户端浏览器或其他程序与Web服务器之间的应用层通信协议。
|
||||
|
||||
- HTTPS 协议(HyperText Transfer Protocol over Secure Socket Layer):可以理解为HTTP+SSL/TLS, 即 HTTP 下加入 SSL 层,HTTPS 的安全基础是 SSL,因此加密的详细内容就需要 SSL,用于安全的 HTTP 数据传输。
|
||||
|
||||

|
||||
|
||||
如上图所示 HTTPS 相比 HTTP 多了一层 SSL/TLS
|
||||
|
||||
- SSL/TLS :SSL(Secure Sockets Layer 安全套接层),及其继任者传输层安全(Transport Layer Security,TLS)是为网络通信提供安全及数据完整性的一种安全协议。TLS与SSL在传输层为数据通讯进行加密提供安全支持
|
||||
|
||||
1. SSL握手协议(SSL Handshake Protocol):它建立在SSL记录协议之上,用于在实际的数据传输开始前,通讯双方进行身份认证、协商加密算法、交换加密密钥等。---相当于连接
|
||||
2. SSL记录协议(SSL Record Protocol):它建立在可靠的传输协议(如TCP)之上,为高层协议提供数据封装、压缩、加密等基本功能的支持。 ---相当于通信
|
||||
|
||||
- SSL协议提供的服务:
|
||||
1. 认证用户和服务器,确保数据发送到正确的客户机和服务器
|
||||
2. 加密数据以防止数据中途被窃取
|
||||
3. 维护数据的完整性,确保数据在传输过程中不被改变
|
||||
|
||||
|
||||
|
||||
## 三:HTTPS 工作原理
|
||||
|
||||
### 1. 简介
|
||||
|
||||
- HTTP请求过程中,客户端与服务器之间没有任何身份确认的过程,数据全部明文传输,“裸奔”在互联网上,所以容易遭到黑客的攻击。
|
||||
|
||||

|
||||
|
||||
- 客户端发出的请求很容易被黑客截获,如果此时黑客冒充服务器,则其可返回任意信息给客户端,而不被客户端察觉。
|
||||
|
||||

|
||||
|
||||
### 2. http 缺点
|
||||
|
||||
- 窃听风险:黑客可以获知通信内容。
|
||||
- 篡改风险:黑客可以修改通信内容。
|
||||
- 冒充风险:黑客可以冒充他人身份参与通信。
|
||||
|
||||
### 3. ssl 证书
|
||||
|
||||
那有没有一种方式既可以安全的获取公钥,又能防止黑客冒充呢? 那就需要用到终极武器了:SSL 证书(申购)。
|
||||
|
||||
- 证书:.crt, .pem
|
||||
- 私钥:.key
|
||||
- 证书请求文件:.csr
|
||||
|
||||
### 4. 工作原理
|
||||
|
||||
服务器发送了一个SSL证书给客户端,SSL 证书中包含的具体内容有:
|
||||
|
||||
- 证书的发布机构CA
|
||||
- 证书的有效期
|
||||
- 公钥
|
||||
- 证书所有者
|
||||
- 签名就可以理解为是钞票里面的一个防伪标签
|
||||
|
||||
客户端在接受到服务端发来的SSL证书时,会对证书的真伪进行校验,以浏览器为例说明如下
|
||||
|
||||
- 首先浏览器读取证书中的证书所有者、有效期等信息进行一一校验
|
||||
- 浏览器开始查找操作系统中已内置的受信任的证书发布机构CA,与服务器发来的证书中的颁发者CA比对,校验是否为合法机构颁发
|
||||
- 如果找不到,浏览器就会报错,说明服务器发来的证书是不可信任的
|
||||
- 如果找到,那么浏览器就会从操作系统中取出 颁发者CA 的公钥,然后对服务器发来的证书里面的签名进行解密
|
||||
- 浏览器使用相同的hash算法计算出服务器发来的证书的hash值,将这个计算的hash值与证书中签名做对比
|
||||
- 对比结果一致,则证明服务器发来的证书合法,没有被冒充
|
||||
- 此时浏览器就可以读取证书中的公钥,用于后续加密了
|
||||
- client与web协商对称加密算法,client生成对称加密密钥并使用web公钥加密,发送给web服务器,web服务器使用web私钥解密
|
||||
- 使用对称加密密钥传输数据,并校验数据的完整性
|
||||
|
||||
所以通过发送SSL证书的形式,既解决了公钥获取问题,又解决了黑客冒充问题,一箭双雕,HTTPS加密过程也就此形成
|
||||
|
||||
### 5. CA 机构
|
||||
|
||||
CA介绍:
|
||||
|
||||
CA(Certificate Authority)证书颁发机构主要负责证书的颁发、管理以及归档和吊销。证书内包含了拥有证书者的姓名、地址、电子邮件帐号、公钥、证书有效期、发放证书的CA、CA的数字签名等信息。证书主要有三大功能:加密、签名、身份验证。
|
||||
|
||||
CA中心申请证书的流程:
|
||||
|
||||
- web服务器,生成一对非对称加密密钥(web公钥,web私钥)
|
||||
- web服务器使用 web私钥 生成 web服务器的证书请求,并将证书请求发给CA服务器
|
||||
- CA服务器使用 CA的私钥对web 服务器的证书请求,进行数字签名得到 web服务器的数字证书,并将数字证书颁发给web服务器
|
||||
- client访问web服务器,请求https连接,下载web数字证书
|
||||
- client下载 CA数字证书(CA身份信息+CA公钥,由上一级CA颁发,也可自签名颁发),验证 web数字证书
|
||||
|
||||
### 6. https 优点
|
||||
|
||||
- 所有信息都是加密传播,黑客无法窃听
|
||||
- 具有校验机制,一旦被篡改,通信双方会立刻发现
|
||||
- 配备身份证书,防止身份被冒充
|
||||
|
||||
### 7. https 缺点
|
||||
|
||||
- SSL 证书费用很高,以及其在服务器上的部署、更新维护非常繁琐
|
||||
- HTTPS 降低用户访问速度(多次握手)
|
||||
- 网站改用HTTPS 以后,由HTTP 跳转到 HTTPS 的方式增加了用户访问耗时
|
||||
- HTTPS 涉及到的安全算法会消耗 CPU 资源,需要增加大量机器(https访问过程需要加解密)
|
||||
|
||||
|
||||
|
||||
## 四:性能优化
|
||||
|
||||
### 1. 简介
|
||||
|
||||
当我需要进行性能优化时,说明我们服务器无法满足日益增长的业务。性能优化是一个比较大的课题,需要从以下几个方面进行探讨:当前系统结构瓶颈、了解业务模式、性能与安全。
|
||||
|
||||
### 2. 方向
|
||||
|
||||
- 服务器本身
|
||||
- 服务本身
|
||||
|
||||
当前系统结构瓶颈:
|
||||
|
||||
首先需要了解的是当前系统瓶颈,用的是什么,跑的是什么业务。里面的服务是什么样子,每个服务最大支持多少并发。比如针对nginx而言,我们处理静态资源效率最高的瓶颈是多大?可以通过查看当前cpu负荷,内存使用率,进程使用率来做简单判断。还可以通过操作系统的一些工具来判断当前系统性能瓶颈,如分析对应的日志,查看请求数量;也可以通过nginx http_stub_status_module模块来查看对应的连接数,总握手次数,总请求数。也可以对线上进行压力测试,来了解当前的系统能性能,并发数,做好性能评估。
|
||||
|
||||
了解业务模式:
|
||||
|
||||
虽然我们是在做性能优化,但还是要熟悉业务,最终目的都是为业务服务的。我们要了解每一个接口业务类型是什么样的业务,比如电子商务抢购模式,这种情况平时流量会很小,但是到了抢购时间,流量一下子就会猛涨。也要了解系统层级结构,每一层在中间层做的是代理还是动静分离,还是后台进行直接服务。需要我们对业务接入层和系统层次要有一个梳理。
|
||||
|
||||
性能与安全:
|
||||
|
||||
性能与安全也是一个需要考虑的因素,往往大家注重性能忽略安全或注重安全又忽略性能。比如说我们在设计防火墙时,如果规则过于全面肯定会对性能方面有影响。如果对性能过于注重在安全方面肯定会留下很大隐患。所以大家要评估好两者的关系,把握好两者的孰重孰轻,以及整体的相关性。权衡好对应的点。
|
||||
|
||||
系统与nginx性能优化:
|
||||
|
||||
大家对相关的系统瓶颈及现状有了一定的了解之后,就可以根据影响性能方面做一个全体的评估和优化。
|
||||
|
||||
- 网络(网络流量、是否有丢包,网络的稳定性都会影响用户请求)
|
||||
- 系统(系统负载、饱和、内存使用率、系统的稳定性、硬件磁盘是否有损坏)
|
||||
- 服务(连接优化、内核性能优化、http服务请求优化都可以在nginx中根据业务来进行设置)
|
||||
- 程序(接口性能、处理请求速度、每个程序的执行效率)
|
||||
- 数据库、底层服务
|
||||
|
||||
上面列举出来每一级都会有关联,也会影响整体性能,这里主要关注的是nginx服务这一层
|
||||
|
||||
### 3. 文件句柄数
|
||||
|
||||
在linux/unix操作系统中一切皆文件,我们的设备是文件,文件是文件,文件夹也是文件。当我们用户每发起一次请求,就会产生一个文件句柄。文件句柄可以简单的理解为文件句柄就是一个索引。文件句柄就会随着请求量的增多,进程调用频繁增加,那么产生的文件句柄也就会越多。
|
||||
|
||||
系统默认对文件句柄是有限制的,不可能会让一个进程无限制的调用句柄。因为系统资源是有限的,所以我们需要限制每一个服务能够使用多大的文件句柄。操作系统默认使用的文件句柄是1024个句柄。
|
||||
|
||||
设置方式:
|
||||
|
||||
- 系统全局性修改
|
||||
- 用户局部性修改
|
||||
- 进程局部性修改(服务)
|
||||
|
||||
系统全局性修该和用户局部性修改:
|
||||
|
||||
```shell
|
||||
ulimit -n 65535
|
||||
```
|
||||
|
||||
参数解释:
|
||||
|
||||
```shell
|
||||
-a 显示目前资源限制的设定。
|
||||
-c <core文件上限> 设定core文件的最大值,单位为区块。
|
||||
-d <数据节区大小> 程序数据节区的最大值,单位为KB。
|
||||
-f <文件大小> shell所能建立的最大文件,单位为区块。
|
||||
-H 设定资源的硬性限制,也就是管理员所设下的限制。
|
||||
-m <内存大小> 指定可使用内存的上限,单位为KB。
|
||||
-n <文件数目> 指定同一时间最多可开启的文件数。
|
||||
-p <缓冲区大小> 指定管道缓冲区的大小,单位512字节。
|
||||
-s <堆叠大小> 指定堆叠的上限,单位为KB。
|
||||
-S 设定资源的弹性限制。
|
||||
-t <CPU时间> 指定CPU使用时间的上限,单位为秒。
|
||||
-u <程序数目> 用户最多可开启的程序数目。
|
||||
-v <虚拟内存大小> 指定可使用的虚拟内存上限,单位为KB
|
||||
```
|
||||
|
||||
### 4. cpu 亲和力
|
||||
|
||||
cpu的亲和能够使nginx对于不同的work工作进程绑定到不同的cpu上面去。就能够减少在work间不断切换cpu,把进程通常不会在处理器之间频繁迁移,进程迁移的频率小,来减少性能损耗。
|
||||
|
||||
```bash
|
||||
查看物理cpu
|
||||
[root@test ~]# cat /proc/cpuinfo | grep "physical id" | sort|uniq | wc -l
|
||||
查看cpu核心数
|
||||
[root@test ~]# cat /proc/cpuinfo | grep "cpu cores"|wc -l
|
||||
查看cpu使用率
|
||||
[root@test ~]# top 回车后按 1
|
||||
```
|
||||
|
||||
```bash
|
||||
[root@test ~]# vim /etc/nginx/nginx.conf
|
||||
worker_cpu_affinity auto;
|
||||
```
|
||||
|
||||
### 5. work_processes
|
||||
|
||||
```bash
|
||||
[root@test ~]# vim /etc/nginx/nginx.conf
|
||||
将刚才查看到自己cpu * cpu核心就是worker_processes
|
||||
worker_processes 2; #根据自己cpu核心数配置/这里也可以设置为auto
|
||||
```
|
||||
|
||||
### 6. 通用配置
|
||||
|
||||
```shell
|
||||
#将nginx进程设置为普通用户,为了安全考虑
|
||||
user nginx;
|
||||
|
||||
#当前启动的worker进程,官方建议是与系统核心数一致
|
||||
worker_processes 2;
|
||||
#方式一,就是自动分配绑定
|
||||
worker_cpu_affinity auto;
|
||||
|
||||
#日志配置成warn
|
||||
error_log /var/log/nginx/error.log warn;
|
||||
pid /var/run/nginx.pid;
|
||||
|
||||
#针对 nginx 句柄的文件限制
|
||||
worker_rlimit_nofile 35535;
|
||||
#事件模型
|
||||
events {
|
||||
#使用epoll内核模型
|
||||
use epoll;
|
||||
#每一个进程可以处理多少个连接,如果是多核可以将连接数调高 worker_processes * 1024
|
||||
worker_connections 10240;
|
||||
}
|
||||
|
||||
http {
|
||||
include /etc/nginx/mime.types;
|
||||
default_type application/octet-stream;
|
||||
|
||||
charset utf-8; #设置字符集
|
||||
|
||||
#设置日志输出格式,根据自己的情况设置
|
||||
log_format main '$http_user_agent' '$remote_addr - $remote_user [$time_local] "$request" '
|
||||
'$status $body_bytes_sent "$http_referer" '
|
||||
'"$http_user_agent" "$http_x_forwarded_for" '
|
||||
'"$args" "$request_uri"';
|
||||
|
||||
access_log /var/log/nginx/access.log main;
|
||||
|
||||
sendfile on; #对静态资源的处理比较有效
|
||||
#tcp_nopush on; #如果做静态资源服务器可以打开
|
||||
#tcp_nodeny on; #当nginx做动态的服务时可以选择打开
|
||||
|
||||
keepalive_timeout 65;
|
||||
|
||||
########
|
||||
#Gzip module
|
||||
gzip on; #文件压缩默认可以打开
|
||||
gzip_disable "MSIE [1-6]\."; #对于有些浏览器不能识别压缩,需要过滤如ie6
|
||||
gzip_http_version 1.1;
|
||||
|
||||
include /etc/nginx/conf.d/*.conf;
|
||||
}
|
||||
```
|
||||
|
294
nginx匹配.md
Normal file
294
nginx匹配.md
Normal file
@ -0,0 +1,294 @@
|
||||
<h2><center>Nginx匹配</center></h2>
|
||||
|
||||
------
|
||||
|
||||
## 一:Location匹配
|
||||
|
||||
### 1. location简介
|
||||
|
||||
location 指令是 nginx 中最关键的指令之一,location 指令的功能是用来匹配不同的 URI 请求,进而对请求做不同的处理和响应。
|
||||
|
||||
### 2. location语法
|
||||
|
||||
```nginx
|
||||
Nginx 的 HTTP 配置主要包括三个区块,结构如下:
|
||||
|
||||
http { # 这个是协议级别
|
||||
include mime.types;
|
||||
default_type application/octet-stream;
|
||||
keepalive_timeout 65;
|
||||
gzip on;
|
||||
server { # 这个是服务器级别
|
||||
listen 80;
|
||||
server_name localhost;
|
||||
|
||||
location / { # 这个是请求级别
|
||||
root html;
|
||||
index index.html index.htm;
|
||||
}
|
||||
|
||||
location ~ \.(html|jpg)$ {
|
||||
root /web;
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
浏览器-->地址栏-->URI -->http:// --> 主机:80 -->http协议块的配置 --> server --> location -->页面内容-->返回客户端浏览器
|
||||
```
|
||||
|
||||
```nginx
|
||||
location 区段
|
||||
|
||||
- location 是在 server 块中配置,根据不同的 URI 使用不同的配置,来处理不同的请求。
|
||||
|
||||
- location 是有顺序的,会根据不同请求配置的优先级来匹配的location 处理。
|
||||
|
||||
基本语法如下:
|
||||
location [=|~|~*|^~|@] pattern{……}
|
||||
```
|
||||
|
||||
|
||||
|
||||
### 3. location前缀含义
|
||||
|
||||
```nginx
|
||||
= 表示精确匹配,优先级也是最高的
|
||||
|
||||
^~ 表示uri以某个常规字符串开头,理解为匹配url路径即可
|
||||
~ 表示区分大小写的正则匹配
|
||||
~* 表示不区分大小写的正则匹配
|
||||
|
||||
!~ 表示区分大小写不匹配的正则
|
||||
!~* 表示不区分大小写不匹配的正则
|
||||
/ 通用匹配,任何请求都会匹配到
|
||||
|
||||
@ 内部服务跳转
|
||||
```
|
||||
|
||||
|
||||
|
||||
### 4. 查找顺序和优先级
|
||||
|
||||
```nginx
|
||||
= 大于 ^~ 大于 ~|~* 大于 !~|!~* 大于 /
|
||||
多个location配置的情况下匹配顺序为:首先匹配 =,其次匹配^~, 其次是按正则匹配,最后是交给 / 通用匹配。当有匹配成功时候,停止匹配,按当前匹配规则处理请求。
|
||||
|
||||
Named Location (location @): 使用@符号定义的命名位置块不匹配URI前缀,而是根据具体的用途或配置定义来执行内部重定向。它们通常不与请求URI的前缀直接匹配,因此不涉及前缀匹配的优先级。
|
||||
```
|
||||
|
||||
|
||||
|
||||
### 5. 配置实例
|
||||
|
||||
1. 没有修饰符 表示:必须以指定模式开始
|
||||
|
||||
```bash
|
||||
[root@test ~]# vim /etc/nginx/conf.d/test.conf
|
||||
server {
|
||||
listen 80;
|
||||
server_name 192.168.159.130;
|
||||
location / {
|
||||
root /usr/share/nginx/web;
|
||||
index index.html index.htm;
|
||||
}
|
||||
|
||||
location /abc {
|
||||
alias /usr/share/nginx/web/a.html;
|
||||
}
|
||||
}
|
||||
|
||||
测试:
|
||||
[root@test ~]# curl http://192.168.159.130
|
||||
web1
|
||||
[root@test ~]# curl http://192.168.159.130/abc
|
||||
web2
|
||||
```
|
||||
|
||||
|
||||
|
||||
2. =表示:必须与指定的模式精确匹配
|
||||
|
||||
```bash
|
||||
[root@test ~]# vim /etc/nginx/conf.d/test.conf
|
||||
server {
|
||||
listen 80;
|
||||
server_name 192.168.159.130;
|
||||
location / {
|
||||
root /usr/share/nginx/web;
|
||||
index index.html index.htm;
|
||||
}
|
||||
|
||||
location = / {
|
||||
root /usr/share/nginx/web;
|
||||
index index.html index.htm;
|
||||
}
|
||||
}
|
||||
|
||||
测试:
|
||||
[root@test ~]# curl http://192.168.159.130/
|
||||
/
|
||||
[root@test ~]# curl http://192.168.159.130/a.html
|
||||
= /
|
||||
```
|
||||
|
||||
|
||||
|
||||
3. ~ 表示:指定的正则表达式要区分大小写
|
||||
|
||||
```bash
|
||||
[root@test ~]# vim /etc/nginx/conf.d/test.conf
|
||||
server {
|
||||
listen 80;
|
||||
server_name 192.168.159.130;
|
||||
location ~ \.(html|jpg|png|js|css|gif|bmp|jpeg)$ {
|
||||
root /usr/share/nginx/web;
|
||||
index index.html index.htm;
|
||||
expires 1d; #为客户端设置静态资源缓存时间
|
||||
}
|
||||
}
|
||||
|
||||
测试:
|
||||
[root@test ~]# curl 192.168.159.130:80/index.html
|
||||
web1
|
||||
```
|
||||
|
||||
|
||||
|
||||
4. ~* 表示:指定的正则表达式不区分大小写
|
||||
|
||||
```bash
|
||||
[root@test ~]# vim /etc/nginx/conf.d/test.conf
|
||||
server {
|
||||
listen 80;
|
||||
server_name 192.168.159.130;
|
||||
location ~* \.(HTML|css)$ {
|
||||
root /usr/share/nginx/web;
|
||||
index index.html index.htm;
|
||||
}
|
||||
}
|
||||
|
||||
[root@test ~]# curl http://192.168.159.130/a.html
|
||||
= /
|
||||
```
|
||||
|
||||
|
||||
|
||||
5. ^~ :类似于无修饰符的行为,也是以指定模式开始,不同的是,如果模式匹配,那么就停止搜索其他模式了
|
||||
|
||||
```bash
|
||||
|
||||
```
|
||||
|
||||
|
||||
|
||||
### 6. 案例
|
||||
|
||||

|
||||
|
||||

|
||||
|
||||
|
||||
|
||||
### 7. echo模块
|
||||
|
||||
获取nginx的安装版本:
|
||||
|
||||
```bash
|
||||
[root@test ~]# nginx -v
|
||||
```
|
||||
|
||||
下载一个相同版本的nginx包,并解压
|
||||
|
||||
```bash
|
||||
[root@test ~]# wget https://nginx.org/download/nginx-1.16.0.tar.gz
|
||||
[root@test ~]# tar xzf nginx-1.16.0.tar.gz -C /usr/local/
|
||||
```
|
||||
|
||||
下载echo模块的安装包,并解压到指定位置
|
||||
|
||||
```bash
|
||||
[root@test ~]# wget https://github.com/openresty/echo-nginx-module/archive/v0.61.tar.gz
|
||||
[root@test ~]# tar xzf v0.61.tar.gz -C /usr/local/
|
||||
```
|
||||
|
||||
安装编译所需软件:
|
||||
|
||||
```bash
|
||||
[root@test ~]# yum install -y pcre* openssl* gcc gcc-c++ make
|
||||
```
|
||||
|
||||
获取源nginx的配置:
|
||||
|
||||
```bash
|
||||
[root@test ~]# nginx -V
|
||||
```
|
||||
|
||||
添加上原来已经有的参数和新添加的模块:
|
||||
|
||||
```bash
|
||||
[root@test ~]# ./configure --prefix=/etc/nginx --sbin-path=/usr/sbin/nginx --modules-path=/usr/lib64/nginx/modules --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --pid-path=/var/run/nginx.pid --lock-path=/var/run/nginx.lock --http-client-body-temp-path=/var/cache/nginx/client_temp --http-proxy-temp-path=/var/cache/nginx/proxy_temp --http-fastcgi-temp-path=/var/cache/nginx/fastcgi_temp --http-uwsgi-temp-path=/var/cache/nginx/uwsgi_temp --http-scgi-temp-path=/var/cache/nginx/scgi_temp --user=nginx --group=nginx --with-compat --with-file-aio --with-threads --with-http_addition_module --with-http_auth_request_module --with-http_dav_module --with-http_flv_module --with-http_gunzip_module --with-http_gzip_static_module --with-http_mp4_module --with-http_random_index_module --with-http_realip_module --with-http_secure_link_module --with-http_slice_module --with-http_ssl_module --with-http_stub_status_module --with-http_sub_module --with-http_v2_module --with-mail --with-mail_ssl_module --with-stream --with-stream_realip_module --with-stream_ssl_module --with-stream_ssl_preread_module --add-module=/usr/local/echo-nginx-module-0.61
|
||||
```
|
||||
|
||||
重新编译:
|
||||
|
||||
```bash
|
||||
[root@test ~]# make
|
||||
```
|
||||
|
||||
将原来的nignx备份:
|
||||
|
||||
```bash
|
||||
[root@test ~]# mv /usr/sbin/nginx /usr/sbin/nginx_bak
|
||||
[root@test ~]# cp objs/nginx /usr/sbin/
|
||||
```
|
||||
|
||||
重新启动:
|
||||
|
||||
```bash
|
||||
[root@test ~]# systemctl restart nginx
|
||||
```
|
||||
|
||||
使用echo:
|
||||
|
||||
```bash
|
||||
配置 $foo=hello
|
||||
[root@test ~]# cd /etc/nginx/conf.d/
|
||||
[root@test conf.d]# vim echo.conf
|
||||
server {
|
||||
listen 80;
|
||||
server_name localhost;
|
||||
location /test {
|
||||
set $foo hello;
|
||||
echo "foo: $foo";
|
||||
}
|
||||
}
|
||||
|
||||
[root@test conf.d]# nginx -s reload
|
||||
[root@test conf.d]# curl localhost/test
|
||||
foo: hello
|
||||
```
|
||||
|
||||
|
||||
|
||||
### 8. alias和root
|
||||
|
||||
- alias 是一个目录别名的定义
|
||||
- root 则是最上层目录的定义
|
||||
|
||||
还有一个重要的区别是alias后面必须要用“/”结束,否则会找不到文件的,而root则可有可无。
|
||||
|
||||
```shell
|
||||
location /img/ {
|
||||
alias /var/www/image/;
|
||||
}
|
||||
```
|
||||
|
||||
若按照上述配置的话,则访问/img/目录里面的文件时,ningx会自动去/var/www/image/目录找文件。
|
||||
|
||||
```shell
|
||||
location /img/ {
|
||||
root /var/www/image;
|
||||
}
|
||||
```
|
||||
|
||||
若按照这种配置的话,则访问/img/目录下的文件时,nginx会去/var/www/image/img/目录下找文件。
|
238
nginx日志管理.md
Normal file
238
nginx日志管理.md
Normal file
@ -0,0 +1,238 @@
|
||||
<h2><center>Nginx 日志管理</center></h2>
|
||||
|
||||
------
|
||||
|
||||
## 一:日志介绍
|
||||
|
||||
### 1. 简介
|
||||
|
||||
- nginx有一个非常灵活的日志记录模式,每个级别的配置可以有各自独立的访问日志, 所需日志模块 ngx_http_log_module 的支持。
|
||||
- 日志格式通过 log_format 命令来定义。
|
||||
- 日志对于统计和排错是非常有利的。
|
||||
- nginx 日志相关的配置 包括 access_log、log_format、open_log_file_cache、rewrite_log、error_log。
|
||||
|
||||
### 2. 总结
|
||||
|
||||
Nginx中通过access_log和error_log指令配置访问日志和错误日志,通过log_format我们可以自定义日志格式。如果日志文件路径中使用了变量,我们可以通过open_log_file_cache 指令来设置缓存,提升性能。其他的根据自己的使用场景定义。详细的日志配置信息可以参考Nginx官方文档。
|
||||
|
||||
|
||||
|
||||
## 二:访问日志
|
||||
|
||||
### 1. 设置访问日志
|
||||
|
||||
语法:
|
||||
|
||||
```shell
|
||||
access_log path [format [buffer=size] [gzip[=level]] [flush=time] [if=condition]];
|
||||
```
|
||||
|
||||
- path 指定日志的存放位置。
|
||||
- format 指定日志的格式。默认使用预定义的combined
|
||||
- buffer 用来指定日志写入时的缓存大小。默认是64k
|
||||
- gzip 日志写入前先进行压缩。压缩率可以指定,从1到9数值越大压缩比越高,同时压缩的速度也越慢。默认是1。
|
||||
- flush 设置缓存的有效时间。如果超过flush指定的时间,缓存中的内容将被清空。
|
||||
- if 条件判断。如果指定的条件计算为0或空字符串,那么该请求不会写入日志。
|
||||
|
||||
### 2. 关闭访问日志
|
||||
|
||||
```shell
|
||||
access_log off;
|
||||
```
|
||||
|
||||
### 3. 应用范围
|
||||
|
||||
可以应用access_log指令的作用域分别有http,server,location等。也就是说,在这几个作用域外使用该指令,Nginx会报错。
|
||||
|
||||
指定日志的写入路径为/var/logs/nginx-access.log,日志格式使用默认的combined。
|
||||
|
||||
```shell
|
||||
access_log /var/logs/nginx-access.log
|
||||
```
|
||||
|
||||
指定日志的写入路径为/var/logs/nginx-access.log,日志格式使用默认的combined,指定日志的缓存大小为 32k,日志写入前启用 gzip 进行压缩,压缩比使用默认值 1,缓存数据有效时间为1分钟。
|
||||
|
||||
```shell
|
||||
access_log /var/logs/nginx-access.log buffer=32k gzip flush=1m
|
||||
```
|
||||
|
||||
### 4. log_formant 指令
|
||||
|
||||
Nginx 预定义了名为 combined 日志格式,如果没有明确指定日志格式默认使用该格式。
|
||||
|
||||
如果不想使用Nginx预定义的格式,可以通过log_format指令来自定义。
|
||||
|
||||
```shell
|
||||
log_format combined '$remote_addr - $remote_user [$time_local] '
|
||||
'"$request" $status $body_bytes_sent '
|
||||
'"$http_referer" "$http_user_agent"';
|
||||
```
|
||||
|
||||
语法:
|
||||
|
||||
```Shell
|
||||
log_format name [escape=default|json] string ...;
|
||||
```
|
||||
|
||||
- name 格式名称。在 access_log 指令中引用。
|
||||
- escape 设置变量中的字符编码方式是json还是default,默认是default。
|
||||
- string 要定义的日志格式内容。该参数可以有多个;参数中可以使用Nginx变量。
|
||||
|
||||
自定义日志格式的使用:
|
||||
|
||||
```shell
|
||||
access_log /var/logs/nginx-access.log main
|
||||
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
|
||||
'$status $body_bytes_sent "$http_referer" '
|
||||
'"$http_user_agent" "$http_x_forwarded_for"';
|
||||
```
|
||||
|
||||
使用log_format指令定义了一个main的格式,并在access_log指令中引用了它。
|
||||
|
||||
假如客户端有发起请求:https://qf.com/,我们看一下我截取的一个请求的日志记录。
|
||||
|
||||
```shell
|
||||
10.0.105.207 - - [01/Jul/2019:10:44:36 +0800] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36" "-"
|
||||
我们看到最终的日志记录中$remote_user、$http_referer、$http_x_forwarded_for都对应了一个-,这是因为这几个变量为空。
|
||||
```
|
||||
|
||||
|
||||
|
||||
## 三:错误日志
|
||||
|
||||
### 1. 简介
|
||||
|
||||
- 错误日志在Nginx中是通过error_log指令实现的。
|
||||
- 该指令记录服务器和请求处理过程中的错误信息。
|
||||
|
||||
### 2. 语法
|
||||
|
||||
配置错误日志文件的路径和日志级别
|
||||
|
||||
```shell
|
||||
error_log file [level];
|
||||
Default:
|
||||
error_log logs/error.log error;
|
||||
```
|
||||
|
||||
- file 参数指定日志的写入位置。
|
||||
- level 参数指定日志的级别。
|
||||
|
||||
注意:
|
||||
|
||||
level可以是debug, info, notice, warn, error, crit, alert,emerg中的任意值。可以看到其取值范围是按紧急程度从低到高排列的。只有日志的错误级别等于或高于level指定的值才会写入错误日志中。默认值是error。
|
||||
|
||||
### 3. 基本语法
|
||||
|
||||
```shell
|
||||
error_log /var/logs/nginx/nginx-error.log
|
||||
```
|
||||
|
||||
指定了错误日志的路径为:/var/logs/nginx/nginx-error.log,日志级别使用默认的 error。
|
||||
|
||||
### 4. 作用域
|
||||
|
||||
- main
|
||||
- http
|
||||
- mail
|
||||
- stream
|
||||
- server
|
||||
- location
|
||||
|
||||
|
||||
|
||||
## 四:日志文件描述符缓存
|
||||
|
||||
### 1. 简介
|
||||
|
||||
- 每一条日志记录的写入都是先打开文件再写入记录,然后关闭日志文件。
|
||||
- 如果你的日志文件路径中使用了变量,如 access_log /var/logs/$host/nginx-access.log。
|
||||
- 为提高性能,可以使用open_log_file_cache指令设置日志文件描述符的缓存。
|
||||
|
||||
### 2. 语法
|
||||
|
||||
```shell
|
||||
open_log_file_cache max=N [inactive=time] [min_uses=N] [valid=time];
|
||||
```
|
||||
|
||||
- max 设置缓存中最多容纳的文件描述符数量,如果被占满,采用LRU算法将描述符关闭。
|
||||
- inactive 设置缓存存活时间,默认是10s。
|
||||
- min_uses 在inactive时间段内,日志文件最少使用几次,该日志文件描述符记入缓存,默认是1次。
|
||||
- valid:设置多久对日志文件名进行检查,看是否发生变化,默认是60s。
|
||||
- off:不使用缓存。默认为off。
|
||||
|
||||
### 3. 作用域
|
||||
|
||||
- http
|
||||
- server
|
||||
- location
|
||||
|
||||
### 4. 使用案例
|
||||
|
||||
```shell
|
||||
open_log_file_cache max=1000 inactive=20s valid=1m min_uses=2;
|
||||
```
|
||||
|
||||
设置缓存最多缓存1000个日志文件描述符,20s内如果缓存中的日志文件描述符至少被被访问2次,才不会被缓存关闭。每隔1分钟检查缓存中的文件描述符的文件名是否还存在。
|
||||
|
||||
|
||||
|
||||
## 五:地址重写日志
|
||||
|
||||
### 1. 简介
|
||||
|
||||
- 由ngx_http_rewrite_module模块提供的。
|
||||
- 用来记录重写日志的。
|
||||
- 将在error log中记录notice级别的重写日志。
|
||||
|
||||
### 2. 基本语法
|
||||
|
||||
```shell
|
||||
rewrite_log on | off;
|
||||
```
|
||||
|
||||
默认值:off
|
||||
|
||||
### 3. 作用域
|
||||
|
||||
- http
|
||||
- server
|
||||
- location
|
||||
- if
|
||||
|
||||
|
||||
|
||||
## 六:Nginx 日志轮转
|
||||
|
||||
轮转文件:
|
||||
|
||||
```bash
|
||||
[root@test html]# vim /etc/logrotate.d/nginx
|
||||
/var/log/nginx/*.log { #指定需要轮转处理的日志文件
|
||||
daily #日志文件轮转周期,可用值为:daily/weekly/yearly
|
||||
missingok #忽略错误信息
|
||||
rotate 52 #轮转次数,即最多存储52个归档日志,会删除最久的归档日志
|
||||
minsize 5M #限制条件,大于5M的日志文件才进行分割,否则不操作
|
||||
dateext #以当前日期作为命名格式
|
||||
compress #轮循结束后,已归档日志使用gzip进行压缩
|
||||
delaycompress #与compress共用,最近的一次归档不要压缩
|
||||
notifempty #日志文件为空,轮循不会继续执行
|
||||
create 640 nginx adm #新日志文件的权限
|
||||
sharedscripts #有多个日志需要轮询时,只执行一次脚本
|
||||
postrotate # 将日志文件转储后执行的命令。以endscript结尾,命令需要单独成行
|
||||
if [ -f /var/run/nginx.pid ]; then #判断nginx的PID。# 默认logrotate会以root身份运行
|
||||
kill -USR1 `cat /var/run/nginx.pid`
|
||||
fi
|
||||
endscript
|
||||
}
|
||||
|
||||
执行命令:
|
||||
[root@test html]# logrotate -f /etc/logrotate.conf
|
||||
创建计划任务:
|
||||
[root@test html]# crontab -e
|
||||
59 23 * * * /usr/sbin/logrotate -f /etc/logrotate.conf
|
||||
```
|
||||
|
||||
注意:
|
||||
|
||||
USR1停止接受新的连接,等待当前连接停止,重新载入配置文件,重新打开日志文件,重启服务器,实现相对平滑的不关机的更改。
|
271
nginx流量限制.md
Normal file
271
nginx流量限制.md
Normal file
@ -0,0 +1,271 @@
|
||||
<h2><center>Nginx 流量限制</center></h2>
|
||||
|
||||
------
|
||||
|
||||
## 一:流量限制
|
||||
|
||||
### 1. 简介
|
||||
|
||||
流量限制 (rate-limiting),是Nginx中一个非常实用,却经常被错误理解和错误配置的功能。我们可以用来限制用户在给定时间内HTTP请求的数量。请求,可以是一个简单网站首页的GET请求,也可以是登录表单的 POST 请求。流量限制可以用作安全目的,比如可以减慢暴力密码破解的速率。通过将传入请求的速率限制为真实用户的典型值,并标识目标URL地址(通过日志),还可以用来抵御DDOS 攻击。更常见的情况,该功能被用来保护上游应用服务器不被同时太多用户请求所压垮。
|
||||
|
||||
### 2. 如何限流
|
||||
|
||||
Nginx的”流量限制”使用漏桶算法(leaky bucket algorithm),该算法在通讯和分组交换计算机网络中广泛使用,用以处理带宽有限时的突发情况。就好比,一个桶口在倒水,桶底在漏水的水桶。如果桶口倒水的速率大于桶底的漏水速率,桶里面的水将会溢出;同样,在请求处理方面,水代表来自客户端的请求,水桶代表根据”先进先出调度算法”(FIFO)等待被处理的请求队列,桶底漏出的水代表离开缓冲区被服务器处理的请求,桶口溢出的水代表被丢弃和不被处理的请求。
|
||||
|
||||
### 3. 基本配置
|
||||
|
||||
模块:
|
||||
|
||||
ngx_http_limit_req_module
|
||||
|
||||
流量限制配置两个主要的指令,`limit_req_zone`和`limit_req`,`limit_req_zone`指令设置流量限制和内存区域的参数,但实际上并不限制请求速率。所以需要通过添加`limit_req`指令启用流量限制,应用在特定的`location`或者`server`块。
|
||||
|
||||
参数:
|
||||
|
||||
```shell
|
||||
limit_req_zone $binary_remote_addr zone=mylimit:10m rate=1r/s;
|
||||
```
|
||||
|
||||
`limit_req_zone`指令通常在HTTP块中定义,它需要以下三个参数:
|
||||
|
||||
```ini
|
||||
-Key - 定义应用限制的请求特性。示例中的 Nginx 变量$binary_remote_addr,保存客户端IP地址的二进制形式。
|
||||
-Zone - 定义用于存储每个IP地址状态以及被限制请求URL访问频率的内存区域。通过zone=keyword标识区域的名字(自定义),以及冒号后面跟区域大小。16000个IP地址的状态信息,大约需要1MB。
|
||||
-Rate - 连接请求。在示例中,速率不能超过每秒1个请求。
|
||||
```
|
||||
|
||||
limit_req_zone指令设置流量限制和共享内存区域的参数,但实际上并不限制请求速率。所以需要通过添加limit_req指令,将流量限制应用在特定的location或者server块。在上面示例中,我们对/login/请求进行流量限制。现在每个IP地址被限制为每秒只能请求10次/login/,更准确地说,在前一个请求的100毫秒内不能请求该URL。
|
||||
|
||||
案例一:
|
||||
|
||||
```shell
|
||||
limit_req_zone $binary_remote_addr zone=mylimit:10m rate=10r/s;
|
||||
upstream myweb {
|
||||
server 192.168.159.131:80 weight=1 max_fails=1 fail_timeout=1;
|
||||
}
|
||||
|
||||
server {
|
||||
listen 80;
|
||||
server_name localhost;
|
||||
|
||||
location /login {
|
||||
limit_req zone=mylimit;
|
||||
proxy_pass http://myweb;
|
||||
proxy_set_header Host $host:$server_port;
|
||||
proxy_set_header X-Real-IP $remote_addr;
|
||||
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
|
||||
}
|
||||
}
|
||||
```
|
||||
|
||||
真实web服务器:
|
||||
|
||||
```shell
|
||||
192.168.159.131配置
|
||||
server {
|
||||
listen 80;
|
||||
server_name location;
|
||||
location /login {
|
||||
root /usr/share/nginx/html;
|
||||
index index.html index.htm;
|
||||
}
|
||||
}
|
||||
```
|
||||
|
||||
测试:
|
||||
|
||||
```bash
|
||||
客户端安装压力测试工具
|
||||
[root@test ~]# yum install httpd-tools
|
||||
[root@test ~]# ab -n1000 -c2 http://10.0.105.196/
|
||||
-n 请求数
|
||||
-c 并发数
|
||||
|
||||
代理机器看错误日志:
|
||||
[root@test ~]# tail -f /var/log/nginx/error.log
|
||||
2019/09/10 07:32:09 [error] 1371#0: *1095 limiting requests, excess: 0.390 by zone "mylimit", client: 10.0.105.196, server: localhost, request: "GET / HTTP/1.0", host: "10.0.105.196"
|
||||
```
|
||||
|
||||
日志字段:
|
||||
|
||||
```bash
|
||||
- limiting requests - 表明日志条目记录的是被“流量限制”请求
|
||||
- excess - 每毫秒超过对应“流量限制”配置的请求数量
|
||||
- zone - 定义实施“流量限制”的区域
|
||||
- client - 发起请求的客户端IP地址
|
||||
- server - 服务器IP地址或主机名
|
||||
- request - 客户端发起的实际HTTP请求
|
||||
- host - HTTP报头中host的值
|
||||
```
|
||||
|
||||
```ini
|
||||
查看访问日志出现503
|
||||
[root@nginx-server nginx]# tail -f /var/log/nginx/access.log
|
||||
10.0.105.196 - - [10/Sep/2019:07:32:09 +0800] "GET / HTTP/1.0" 503 197 "-" "ApacheBench/2.3" "-"
|
||||
```
|
||||
|
||||
案例二:
|
||||
|
||||
```bash
|
||||
limit_req_zone $binary_remote_addr zone=mylimit:10m rate=10r/s
|
||||
upstream myweb {
|
||||
server 192.168.159.131:80 weight=1 max_fails=1 fail_timeout=1;
|
||||
}
|
||||
|
||||
server {
|
||||
listen 80;
|
||||
server_name localhost;
|
||||
|
||||
location /login {
|
||||
limit_req zone=mylimit burst=5;
|
||||
proxy_pass http://myweb;
|
||||
proxy_set_header Host $host:$server_port;
|
||||
proxy_set_header X-Real-IP $remote_addr;
|
||||
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
|
||||
}
|
||||
}
|
||||
|
||||
burst=5 表示最大延迟请求数量不大于5。超出的请求返回503状态码。
|
||||
|
||||
客户端测试--burst
|
||||
[root@test ~]# ab -n1000 -c50 http://192.168.159.130/
|
||||
代理机器上面看日志
|
||||
[root@test ~]# tail -f /var/log/nginx/access.log
|
||||
192.168.159.130 - - [10/Sep/2019:08:05:10 +0800] "GET / HTTP/1.0" 503 197 "-" "ApacheBench/2.3" "-"
|
||||
192.168.159.130 - - [10/Sep/2019:08:05:11 +0800] "GET / HTTP/1.0" 200 2 "-" "ApacheBench/2.3" "-"
|
||||
|
||||
nodelay:不延迟转发请求。速度变快
|
||||
客户端测试--burst
|
||||
[root@test ~]# ab -n1000 -c50 http://192.168.159.130/
|
||||
|
||||
总结:
|
||||
如果不加nodelay只有burst的时候只会延迟转发请求超过限制的请求出现503错误
|
||||
如果nodelay和burst参数都有不会延迟转发请求并且超出规定的请求次数会返回503
|
||||
```
|
||||
|
||||
总结:
|
||||
|
||||
- limit_req_zone指令定义了流量限制相关的参数,而limit_req指令在出现的上下文中启用流量限制。
|
||||
- limit_req_zone指令通常在HTTP块中定义,使其可在多个上下文中使用,它需要以下三个参数。
|
||||
- Key - 定义应用限制的请求特性。示例中的 Nginx 变量$binary_remote_addr,保存客户端IP地址的二进制形式。这意味着,我们可以将每个不同的IP地址限制到,通过第三个参数设置的请求速率。(使用该变量是因为比字符串形式的客户端IP地址$remote_addr,占用更少的空间)。
|
||||
- Zone - 定义用于存储每个IP地址状态以及被限制请求URL访问频率的共享内存区域。保存在内存共享区域的信息,意味着可以在Nginx的worker进程之间共享。定义分为两个部分:通过zone=keyword标识区域的名字,以及冒号后面跟区域大小。16000个IP地址的状态信息,大约需要1MB,所以示例中区域可以存储160000个IP地址。
|
||||
- Rate - 定义最大请求速率。在示例中,速率不能超过每秒10个请求。Nginx实际上以毫秒的粒度来跟踪请求,所以速率限制相当于每100毫秒1个请求。因为不允许”突发情况”(见下一章节),这意味着在前一个请求100毫秒内到达的请求将被拒绝。(1秒(s)=1000毫秒(ms))。
|
||||
|
||||
## 二:高级限流
|
||||
|
||||
通过将基本的“流量限制”与其他Nginx功能配合使用,我们可以实现更细粒度的流量限制。
|
||||
|
||||
### 1. 白名单
|
||||
|
||||
对任何不在白名单内的请求强制执行“流量限制”。
|
||||
|
||||
```shell
|
||||
http {
|
||||
include /etc/nginx/mime.types;
|
||||
default_type application/octet-stream;
|
||||
|
||||
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
|
||||
'$status $body_bytes_sent "$http_referer" '
|
||||
'"$http_user_agent" "$http_x_forwarded_for" '
|
||||
|
||||
access_log /var/log/nginx/access.log main;
|
||||
geo $limit {
|
||||
default 1;
|
||||
192.168.0.0/24 0;
|
||||
}
|
||||
map $limit $limit_key {
|
||||
0 "";
|
||||
1 $binary_remote_addr;
|
||||
}
|
||||
limit_req_zone $limit_key zone=req_zone:10m rate=5r/s;
|
||||
|
||||
server {
|
||||
listen 80;
|
||||
server_name location;
|
||||
|
||||
location / {
|
||||
limit_req zone=req_zone;
|
||||
root /usr/share/nginx/html;
|
||||
index index.html index.htm;
|
||||
}
|
||||
}
|
||||
include /etc/nginx/conf.d/*.conf;
|
||||
}
|
||||
```
|
||||
|
||||
- geo块将给在白名单中的IP地址对应的$limit变量分配一个值0,给其它不在白名单中的分配一个值1。
|
||||
- 如果$limit变量的值是0,$limit_key变量将被赋值为空字符串。
|
||||
- 如果$limit变量的值是1,$limit_key变量将被赋值为客户端二进制形式的IP地址。
|
||||
- 两个指令配合使用,白名单内IP地址的$limit_key变量被赋值为空字符串,不在白名单内的被赋值为客户端的IP地址。
|
||||
|
||||
当limit_req_zone后的第一个参数是空字符串时,不会应用“流量限制”,所以白名单内的IP地址(10.0.0.0/24和192.168.0.0/24 网段内)不会被限制其它所有IP地址都会被限制到每秒5个请求。limit_req指令将限制应用到/的location块,允许在配置的限制上最多超过10个数据包的突发,并且不会延迟转发。
|
||||
|
||||
### 2. 日志记录
|
||||
|
||||
默认情况下,Nginx会在日志中记录由于流量限制而延迟或丢弃的请求,如下所示:
|
||||
|
||||
```shell
|
||||
2019/02/13 04:20:00 [error] 120315#0: *32086 limiting requests, excess: 1.000 by zone "mylimit", client: 192.168.1.2, server: nginx.com, request: "GET / HTTP/1.0", host: "nginx.com"
|
||||
```
|
||||
|
||||
- limiting requests - 表明日志条目记录的是被“流量限制”请求。
|
||||
- excess - 每毫秒超过对应“流量限制”配置的请求数量。
|
||||
- zone - 定义实施“流量限制”的区域。
|
||||
- client - 发起请求的客户端IP地址。
|
||||
- server - 服务器IP地址或主机名。
|
||||
- request - 客户端发起的实际HTTP请求。
|
||||
- host - HTTP报头中host的值。
|
||||
|
||||
注意:
|
||||
|
||||
默认情况下,Nginx以error级别来记录被拒绝的请求,如上面示例中的[error]所示(Nginx以较低级别记录延时请求,一般是info级别)。如要更改Nginx的日志记录级别,需要使用limit_req_log_level指令。
|
||||
|
||||
案例:设置日志记录中日志级别
|
||||
|
||||
```shell
|
||||
limit_req_zone $binary_remote_addr zone=mylimit:10m rate=10r/s;
|
||||
upstream myweb {
|
||||
server 192.168.159.131:80 weight=1 max_fails=1 fail_timeout=1;
|
||||
}
|
||||
|
||||
server {
|
||||
listen 80;
|
||||
server_name localhost;
|
||||
|
||||
location /login {
|
||||
limit_req zone=mylimit;
|
||||
limit_req_log_level warn;
|
||||
proxy_pass http://myweb;
|
||||
proxy_set_header Host $host:$server_port;
|
||||
proxy_set_header X-Real-IP $remote_addr;
|
||||
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
|
||||
}
|
||||
}
|
||||
```
|
||||
|
||||
案例:发送到客户端的错误代码
|
||||
|
||||
一般情况下,客户端超过配置的流量限制时,Nginx响应状态码为503(Service Temporarily Unavailable)。可以使用limit_req_status指令来设置为其它状态码(例如下面的404状态码)。
|
||||
|
||||
```shell
|
||||
limit_req_zone $binary_remote_addr zone=mylimit:10m rate=10r/s;
|
||||
upstream myweb {
|
||||
server 192.168.159.131:80 weight=1 max_fails=1 fail_timeout=1;
|
||||
}
|
||||
|
||||
server {
|
||||
listen 80;
|
||||
server_name localhost;
|
||||
|
||||
location /login {
|
||||
limit_req zone=mylimit;
|
||||
limit_req_log_level warn;
|
||||
limit_req_status 404;
|
||||
proxy_pass http://myweb;
|
||||
proxy_set_header Host $host:$server_port;
|
||||
proxy_set_header X-Real-IP $remote_addr;
|
||||
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
|
||||
}
|
||||
}
|
||||
```
|
||||
|
Loading…
x
Reference in New Issue
Block a user