CentOS Filebeat日志收集方法

在CentOS上配置和使用Filebeat进行日志收集是一个相对简单的过程。以下是详细的步骤和配置方法：

安装Filebeat

首先，确保你的CentOS系统已经安装了Filebeat。如果没有安装，可以使用以下命令进行安装：

sudo yum install -y filebeat

或者从Elastic官网下载安装包进行安装：

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.10.0-amd64.rpm
sudo rpm -vi filebeat-7.10.0-amd64.rpm

配置Filebeat

Filebeat的配置文件通常位于 /etc/filebeat/filebeat.yml。你可以使用文本编辑器（如 vi 或 nano）打开并编辑这个文件。

基本配置

以下是一个基本的Filebeat配置示例：

filebeat.inputs:
- type: log
  enabled: true
  paths:
  - /var/log/*.log

output.elasticsearch:
  hosts:
  - "localhost:9200"

这个配置会让Filebeat读取 /var/log/*.log 目录下的所有日志文件，并将它们发送到本地的Elasticsearch实例（假设Elasticsearch运行在 localhost:9200）。

高级配置

• 输出到Elasticsearch：

output.elasticsearch:
  hosts:
  - "localhost:9200"
  index: "filebeat-%{[agent.version]}-{yyyy.MM.dd}"

• 输出到Logstash：

output.logstash:
  hosts:
  - "localhost:5044"

• 配置Filebeat模块：例如，要监控 /var/log/nginx/ 目录下的日志文件，可以添加以下配置：

filebeat.inputs:
- type: log
  paths:
  - /var/log/nginx/*.log

• 配置日志级别：你可以在 filebeat.yml 中配置日志级别，以便更好地调试：

logging.level: debug

• 配置文件路径：如果你需要指定Filebeat配置文件的路径，可以在启动时使用 -c 或 --config 参数：

sudo filebeat -c /path/to/your/filebeat.yml

启动和启用Filebeat服务

配置完成后，启动Filebeat服务并设置为开机自启动：

sudo systemctl start filebeat
sudo systemctl enable filebeat

检查Filebeat状态

你可以使用以下命令检查Filebeat的状态：

sudo systemctl status filebeat

配置日志路径

如果你需要读取特定的日志文件，可以在 paths 下添加相应的路径。例如：

filebeat.inputs:
- type: log
  enabled: true
  paths:
  - /var/log/httpd/access_log
  - /var/log/httpd/error_log

配置输出到Logstash

如果你希望将日志发送到Logstash而不是Elasticsearch，可以修改 output.elasticsearch 部分为：

output.logstash:
  hosts:
  - "localhost:5044"

监控和日志

你可以使用以下命令查看Filebeat的日志：

sudo journalctl -u filebeat -f

日志分割

Filebeat本身不直接处理日志分割，但你可以结合系统的日志轮转工具（如 logrotate）来实现日志分割。创建一个新的 logrotate 配置文件：

sudo vi /etc/logrotate.d/filebeat

添加以下内容：

/var/log/filebeat/*.log {
  daily
  missingok
  rotate 7
  compress
  notifempty
  create 640 root root
}

解释：

• daily: 每天轮转一次日志。
• missingok: 如果日志文件丢失，不会报错。
• rotate 7: 保留7个轮转后的日志文件。
• compress: 压缩轮转后的日志文件。
• notifempty: 如果日志文件为空，不进行轮转。
• create 640 root root: 创建新的日志文件时设置权限和所有者。

重启Filebeat服务以使配置生效：

sudo systemctl restart filebeat

通过以上步骤，你应该能够在CentOS上成功配置Filebeat并进行日志收集。