1日志切割(shell脚本)
nginx日志默认是不切割的，网站运行久了自然生成大量日志，导致单文件的处理，太麻烦，因此工作里一般定期切割，一般按天切割。
-rw-r--r-- 1 root root 2.1G May 8 13:57 front_access.log1.1先纯手动的去切割日志，备份日志
1. 给nginx进程发送信号，让nginx重新生成一个新日志文件，这就是一个日志切割根本
/var/log/nginx/access.log.bak # 1.备份原本日志文件
nginx reload reopen信号
# 配置文件中定义的日志文件名，是这个
2. /var/log/nginx/access.log # 重新生成新日志文件，让新日志往这里去写
# 手动切割，修改日志
#1.准备好旧的日志文件，测试写入大量的日志记录，先用第一种办法，for循环
[root@web-8 ~]#for num in {1..10000};do curl 10.0.0.8 ; done
#2.使用支持多进程，并发写入的工具，如ab命令 apache提供的性能压测命令，给网站发送支持并发的大量的http请求。
[root@web-8 ~]#yum install httpd-tools -y
# 发送10000个http请求，且招来100个人同时发请求
ab -c 100 -n 10000 http://10.0.0.8/
# 3.当前日志数量
[root@web-8 /var/log/nginx]#cat all-server-accesss.log |wc -l
20000
# 3.让你有一个已经记录了大量日志的文件，得进行日志切割了
切割思路就是，1.先重命名，等于备份() 2. 重新记录nginx日志 (/var/log/nginx/access.log) 按天记录日志 （每天夜里的 整点分进行日志备份，日志）
按天，生成一个新的日志文件
# 备份旧日志（模拟是前一天的旧日志）
cd /var/log/nginx && mv all-server-accesss.log all-server-accesss.log.$(date '+%F')
# 还得生成新日志，得继续记录
给nginx进程发送reopen信号，重新生成新日志
# 用这种方式，可以最精确的提取进程id号。
kill -USR1 $(ps -ef|grep nginx |grep master | awk '{print $2}')
此时会生成新的日志
[root@web-8 /var/log/nginx]#ll
total 6084
-rw-r--r-- 1 www root 0 May 23 10:10 all-server-accesss.log
-rw-r--r-- 1 root root 4160000 May 23 10:08 all-server-accesss.log.2022-05-23---10:04:17
-rw-r--r-- 1 www root 700 May 23 10:10 error.log
此时新日志，就会记录到这个新的日志文件中了
==> all-server-accesss.log <==
/index.html 10.0.0.8 - - [23/May/2022:10:10:56 +0800] "GET / HTTP/1.1" 200 6 "-" "curl/7.29.0" "-"
/index.html 10.0.0.8 - - [23/May/2022:10:10:57 +0800] "GET / HTTP/1.1" 200 6 "-" "curl/7.29.0" "-"
/index.html 10.0.0.8 - - [23/May/2022:10:10:58 +0800] "GET / HTTP/1.1" 200 6 "-" "curl/7.29.0" "-"
/index.html 10.0.0.8 - - [23/May/2022:10:10:58 +0800] "GET / HTTP/1.1" 200 6 "-" "curl/7.29.0" "-"
对于旧的日志 你最好 创建文件夹去分类管理他们1.2.shell脚本切割
1.查看当前的日志
[root@web-9 /var/log/nginx]#ls
access.log error.log error.movie.yuchaoit.log error.www.yuchaoit.log movie.yuchaoit.log www.yuchaoit.log
2.备份当前日志文件，请用rename改名即可
[root@web-9 /var/log/nginx]#ll
total 0
-rw-r--r-- 1 root root 0 May 8 14:31 error.log
-rw-r--r-- 1 root root 0 May 8 14:31 error.movie.yuchaoit.log
-rw-r--r-- 1 root root 0 May 8 14:31 error.www.yuchaoit.log
-rw-r--r-- 1 root root 0 May 8 14:31 movie.yuchaoit.log
-rw-r--r-- 1 root root 0 May 8 14:31 www.yuchaoit.log
[root@web-9 /var/log/nginx]#
[root@web-9 /var/log/nginx]#
[root@web-9 /var/log/nginx]#rename log log.$(date +%F) *.log
[root@web-9 /var/log/nginx]#ll
total 0
-rw-r--r-- 1 root root 0 May 8 14:31 error.log.2022-05-08
-rw-r--r-- 1 root root 0 May 8 14:31 error.movie.yuchaoit.log.2022-05-08
-rw-r--r-- 1 root root 0 May 8 14:31 error.www.yuchaoit.log.2022-05-08
-rw-r--r-- 1 root root 0 May 8 14:31 movie.yuchaoit.log.2022-05-08
-rw-r--r-- 1 root root 0 May 8 14:31 www.yuchaoit.log.2022-05-08
3.给nginx master进程发送USR1信号，等于重新打开日志记录
nginx -s reopen或者 kill -USR1 $(cat /var/run/nginx.pid)
4.试试重新生成日志
[root@web-9 /var/log/nginx]#
[root@web-9 /var/log/nginx]#kill -USR1 $(cat /var/run/nginx.pid)
[root@web-9 /var/log/nginx]#ll
total 0
-rw-r--r-- 1 www root 0 May 8 14:36 error.log
-rw-r--r-- 1 root root 0 May 8 14:31 error.log.2022-05-08
-rw-r--r-- 1 www root 0 May 8 14:36 error.movie.yuchaoit.log
-rw-r--r-- 1 root root 0 May 8 14:31 error.movie.yuchaoit.log.2022-05-08
-rw-r--r-- 1 www root 0 May 8 14:36 error.www.yuchaoit.log
-rw-r--r-- 1 root root 0 May 8 14:31 error.www.yuchaoit.log.2022-05-08
-rw-r--r-- 1 www root 0 May 8 14:36 movie.yuchaoit.log
-rw-r--r-- 1 root root 0 May 8 14:31 movie.yuchaoit.log.2022-05-08
-rw-r--r-- 1 www root 0 May 8 14:36 www.yuchaoit.log
-rw-r--r-- 1 root root 0 May 8 14:31 www.yuchaoit.log.2022-05-081.3.完整的脚本
[root@web-9 /etc/nginx]#cat cut_log.sh
#!/bin/bash
# 源日志目录
logs_path="/var/log/nginx"
# 备份日志目录
back_logs_path="${logs_path}/$(date -d 'yesterday' +'%F')"
# 创建备份目录，以日期命名，注意，每天零点整切割，开始记录新的一天的日志，备份目录应该是昨天
mkdir -p ${back_logs_path}
# 重命名旧日志名，注意日期
cd ${logs_path} && find . -type f |xargs -i mv {} {}.$(date -d 'yesterday' +'%F')
# 移动旧日志文件到该目录下
cd ${logs_path} && find . -type f |xargs -i mv {} ${back_logs_path}
# 重新生成新日志
kill -USR1 `cat /var/run/nginx.pid`1.4.实践过程
1.你可以准备如下测试数据
[root@web-9 /var/log/nginx]#systemctl restart nginx
[root@web-9 /var/log/nginx]#ll
total 0
-rw-r--r-- 1 root root 0 May 8 15:17 error.log
-rw-r--r-- 1 root root 0 May 8 15:17 error.movie.yuchaoit.log
-rw-r--r-- 1 root root 0 May 8 15:17 error.www.yuchaoit.log
-rw-r--r-- 1 root root 0 May 8 15:17 movie.yuchaoit.log
-rw-r--r-- 1 root root 0 May 8 15:17 www.yuchaoit.log
2.修改日期到第二天0点
[root@web-9 /var/log/nginx]#date -s '2022-5-9 00:00'
Mon May 9 00:00:00 CST 2022
[root@web-9 /var/log/nginx]#date
Mon May 9 00:00:01 CST 2022
3.执行脚本
[root@web-9 /etc/nginx]#bash cut_log.sh
4.查看备份的日志
1.5.写入定时任务
[root@web-9 /etc/nginx]#crontab -l
* * * * * /usr/sbin/ntpdate time1.aliyun.com > /dev/null 2>&1
0 0 * * * /bin/bash /etc/nginx/cut_log.sh2、日志切割（logrotate工具）
清理上一次实验的环境。
shell脚本切割比较简单方便、nginx其实提供了更好用的工具
logrotate是一款自动切割日志的工具2.1.检查logrotate
# rpm -qa 检查nginx的配置文件列表
[root@web-9 /etc/nginx]#rpm -qc nginx
/etc/logrotate.d/nginx
/etc/nginx/conf.d/default.conf
/etc/nginx/fastcgi_params
/etc/nginx/mime.types
/etc/nginx/nginx.conf
/etc/nginx/scgi_params
/etc/nginx/uwsgi_params2.2.配置解释
[root@web-9 /etc/nginx]#cat /etc/logrotate.d/nginx
/var/log/nginx/*.log {
daily # 每天切割
missingok # 忽略错误
rotate 52 # 最多保留多少个存档
compress # 切割后且压缩
delaycompress # 延迟压缩动作在下一次切割
notifempty # 日志为空就不切割
create 640 nginx adm # 切割的文件权限
sharedscripts # 共享脚本，结果为空
postrotate # 收尾动作，重新生成nginx日志
if [ -f /var/run/nginx.pid ]; then
kill -USR1 `cat /var/run/nginx.pid`
fi
endscript # 结束动作
}2.3.测试切割
1.创建压测工具，生成大量日志
yum install httpd-tools -y
2.可以先清空默认日志
3.模拟100个并发用户，共计发出10000个请求
ab -c 100 -n 10000 http://10.0.0.9/
4.检查日志记录
[root@web-9 /var/log/nginx]#ll
total 960
-rw-r--r-- 1 root root 0 May 8 15:41 error.log
-rw-r--r-- 1 root root 0 May 8 15:41 error.movie.yuchaoit.log
-rw-r--r-- 1 root root 0 May 8 15:41 error.www.yuchaoit.log
-rw-r--r-- 1 root root 900000 May 8 15:41 movie.yuchaoit.log
-rw-r--r-- 1 root root 0 May 8 15:41 www.yuchaoit.log
[root@web-9 /var/log/nginx]#cat movie.yuchaoit.log |wc -l
10000
5.主动切割日志
[root@web-9 /var/log/nginx]#logrotate -f /etc/logrotate.d/nginx
[root@web-9 /var/log/nginx]#ll
total 880
-rw-r--r-- 1 www root 0 May 8 15:41 error.log
-rw-r--r-- 1 www root 0 May 8 15:41 error.movie.yuchaoit.log
-rw-r--r-- 1 www root 0 May 8 15:41 error.www.yuchaoit.log
-rw-r----- 1 www adm 0 May 8 15:41 movie.yuchaoit.log
-rw-r--r-- 1 root root 900000 May 8 15:41 movie.yuchaoit.log.1
-rw-r--r-- 1 www root 0 May 8 15:41 www.yuchaoit.log
6.会发现当前并没有压缩，只有下一次切割才会压缩
7.修改系统时间，模拟到了第二天
[root@web-9 /var/log/nginx]#date -s '20220509'
Mon May 9 00:00:00 CST 2022
[root@web-9 /var/log/nginx]#date +%F
2022-05-09
8.再次创建大量日志（否则空日志不会切割）
[root@master-61 ~]#ab -c 100 -n 10000 http://10.0.0.9/
9.再次查看日志
[root@web-9 /var/log/nginx]#ll
total 1840
-rw-r--r-- 1 www root 0 May 8 15:45 error.log
-rw-r--r-- 1 www root 0 May 8 15:45 error.movie.yuchaoit.log
-rw-r--r-- 1 www root 0 May 8 15:45 error.www.yuchaoit.log
-rw-r----- 1 www adm 900000 May 9 00:00 movie.yuchaoit.log
-rw-r--r-- 1 root root 900000 May 8 15:45 movie.yuchaoit.log.1
-rw-r--r-- 1 www root 0 May 8 15:45 www.yuchaoit.log
10.开始切割，查看日志压缩情况
[root@web-9 /var/log/nginx]#logrotate -f /etc/logrotate.d/nginx
[root@web-9 /var/log/nginx]#ll
total 884
-rw-r--r-- 1 www root 0 May 8 15:45 error.log
-rw-r--r-- 1 www root 0 May 8 15:45 error.movie.yuchaoit.log
-rw-r--r-- 1 www root 0 May 8 15:45 error.www.yuchaoit.log
-rw-r----- 1 www adm 0 May 9 00:00 movie.yuchaoit.log
-rw-r----- 1 www adm 900000 May 9 00:00 movie.yuchaoit.log.1
-rw-r--r-- 1 root root 3179 May 8 15:45 movie.yuchaoit.log.2.gz
-rw-r--r-- 1 www root 0 May 8 15:45 www.yuchaoit.log
11.写入定时任务，即可按天切割且压缩nginx日志了
[root@web-9 /var/log/nginx]#crontab -l
01 00 * * * /usr/sbin/logrotate -f /etc/logrotate.d/nginx >> /var/log/nginx/logrotate_nginx.log 2>&1