Ubuntu Python日志管理技巧

在Ubuntu系统中使用Python进行日志管理，可以采用以下几种技巧和方法：

使用Python内置的 logging 模块

Python的 logging 模块提供了灵活的日志管理功能。你可以配置日志级别、格式和输出目的地。例如：

import logging

# 配置日志记录器
logging.basicConfig(filename='example.log', level=logging.DEBUG, format='%(asctime)s - %(levelname)s - %(message)s')

# 记录不同级别的日志
logging.debug('这是一条 DEBUG 级别的日志')
logging.info('这是一条 INFO 级别的日志')
logging.warning('这是一条 WARNING 级别的日志')
logging.error('这是一条 ERROR 级别的日志')
logging.critical('这是一条 CRITICAL 级别的日志')

使用第三方日志库

除了内置的 logging 模块，还可以使用一些第三方日志库来增强日志管理功能。例如，loguru 是一个简易且强大的第三方日志记录库，它提供了开箱即用、文件日志记录、转存、保留以及压缩方式等功能。

日志轮转

为了避免日志文件过大，可以使用日志轮转工具，如 logrotate。在Ubuntu系统中，可以通过以下步骤配置 logrotate：

1. 安装 logrotate：

sudo apt-get install logrotate

2. 创建或编辑 /etc/logrotate.d/spider 文件（根据你的日志文件路径和名称进行修改）：

/path/to/spider/*.log {
    daily rotate 7
    compress
    missingok
    notifempty
    copytruncate
}

3. 使用 logrotate 命令手动触发日志轮转：

sudo logrotate -f /etc/logrotate.d/spider

结构化日志输出

适用于接入ELK（Elasticsearch, Logstash, Kibana）等：

import json_log_formatter

formatter = json_log_formatter.JSONFormatter()
console_handler.setFormatter(formatter)

多线程环境下的日志管理

在Python多线程环境下，可以使用 logging 模块来有效地管理日志信息。例如：

import logging
import threading

logging.basicConfig(level=logging.DEBUG, format='%(asctime)s [%(threadName)s] %(message)s')

def worker():
    logging.debug('开始执行线程任务')
    # 这里可以放置实际的工作代码
    logging.debug('线程任务完成')

threads = []
for i in range(5):
    t = threading.Thread(target=worker)
    threads.append(t)
    t.start()

for t in threads:
    t.join()

logging.debug('所有线程已完成')

以上就是在Ubuntu系统中使用Python进行日志管理的一些技巧和方法。