如何清洗Nginx日志数据

清洗Nginx日志数据可通过以下方式实现，分为无效数据清洗和**日志管理（切割/删除）**两类：

一、清洗无效数据（保留有效日志）

通过脚本或工具过滤无效内容（如错误格式、特定关键字），保留结构化数据。

1. Python脚本清洗

• 适用场景：清洗特定格式的无效数据（如含“invalid_data”的行）。
• 步骤：
  1. 确定Nginx日志格式（参考log_format配置）。
  2. 编写脚本，用正则表达式匹配并过滤无效行，保存为新文件。

  import re  
  with open('/var/log/nginx/access.log', 'r') as f:  
      lines = f.readlines()  
  pattern = re.compile(r'invalid_data')  # 替换为实际无效数据模式  
  with open('/var/log/nginx/cleaned_access.log', 'w') as f:  
      f.writelines([line for line in lines if not pattern.search(line)])  
  

  3. 执行脚本后，用新文件替换原日志（需配合Nginx重载）。

2. 工具清洗（推荐大规模数据）

• PySpark：适合海量日志，支持正则提取、字段校验（如过滤无效状态码）。
• Logstash：可配置过滤规则，清洗后输出到新存储（如Elasticsearch）。

二、日志管理（切割/删除旧日志）

通过工具自动切割日志并删除过期文件，避免磁盘占满。

1. 使用Logrotate（推荐）

• 功能：按天/按大小切割日志，自动压缩并删除旧文件（如保留7天）。
• 配置步骤：
  1. 编辑配置文件/etc/logrotate.d/nginx：

     /var/log/nginx/*.log {  
         daily  
         rotate 7  
         compress  
         missingok  
         postrotate  
             [ -f /var/run/nginx.pid ] && kill -USR1 `cat /var/run/nginx.pid`  
         endscript  
     }  
     

  2. 手动测试：logrotate -f /etc/logrotate.d/nginx。

2. Shell脚本手动清理

• 快速清理：直接清空日志文件（不推荐长期使用，可能导致Nginx异常）。

  > /var/log/nginx/access.log  
  > /var/log/nginx/error.log  
  nginx -s reload  # 重新加载Nginx  
  

• 定时删除旧日志：通过cron定期删除超过指定天数的日志（如30天）。

  # 示例脚本（保存为clean_nginx_logs.sh）  
  find /var/log/nginx/ -type f -name "*.log.*" -mtime +30 -exec rm -f {} \;  
  nginx -s reload  
  

  添加定时任务：crontab -e，添加0 0 * * * /path/to/script.sh。

注意事项

• 避免直接删除日志文件：需通过Nginx重载或kill -USR1通知进程重新打开日志，否则可能导致写入失败。
• 优先使用Logrotate：适合生产环境，支持自动化管理和日志压缩，减少人工干预。
• 清洗前备份：清洗前建议备份原始日志，避免误删重要数据。