Filebeat在CentOS上的日志收集方法

在CentOS上使用Filebeat进行日志收集是一个相对简单的过程。以下是详细的步骤：

安装Filebeat

方法一：使用YUM仓库安装

1. 添加Elastic官方YUM仓库：

   sudo tee /etc/yum.repos.d/elastic-beats.repo << EOF
   [elastic-7.x]
   name=Elasticsearch repository for 7.x packages
   baseurl=https://artifacts.elastic.co/packages/7.x/yum
   gpgcheck=1
   gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
   enabled=1
   autorefresh=1
   type=rpm-md
   EOF
   

2. 安装Filebeat：

   sudo yum install filebeat
   

3. 启动并启用Filebeat服务：

   sudo systemctl start filebeat
   sudo systemctl enable filebeat
   

4. 验证安装：

   sudo systemctl status filebeat
   

方法二：手动下载并安装

1. 下载Filebeat RPM包：

   wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.15.0-amd64.deb
   

2. 安装Filebeat：

   sudo dpkg -i filebeat-7.15.0-amd64.deb
   

3. 解决依赖问题（如果有）：

   sudo apt-get install -f
   

4. 启动Filebeat服务：

   sudo systemctl start filebeat
   

5. 设置开机自启：

   sudo systemctl enable filebeat
   

6. 检查Filebeat状态：

   sudo systemctl status filebeat
   

配置Filebeat

1. 编辑配置文件： Filebeat的配置文件通常位于 /etc/filebeat/filebeat.yml。使用文本编辑器打开它，例如：

   sudo vi /etc/filebeat/filebeat.yml
   

2. 基本配置示例：

   filebeat.inputs:
   - type: log
     enabled: true
     paths:
       - /var/log/*.log
   output.elasticsearch:
     hosts:
       - "localhost:9200"
     index: "filebeat-%{+yyyy.MM.dd}"
   

3. 启用nginx模块（如果需要收集nginx日志）：

   filebeat.modules:
     enable:
       - nginx
   

4. 调整nginx日志格式（如果需要）： 编辑nginx配置文件，添加 $host 变量到日志格式中：

   log_format main '$remote_addr - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_referer" "$host"''"$http_user_agent" "$http_x_forwarded_for"';
   

5. 测试配置文件：

   ./filebeat test config -e
   

6. 启动Filebeat：

   ./filebeat -e
   

7. 设置开机自启动： 创建并启用Filebeat服务文件：

   sudo vi /etc/systemd/system/filebeat.service
   

   添加以下内容：

   [Unit]
   Description=Filebeat
   Wants=network-online.target
   After=network-online.target
   
   [Service]
   User=root
   Group=root
   ExecStart=/usr/share/filebeat/bin/filebeat -e -c /etc/filebeat/filebeat.yml
   Restart=always
   
   [Install]
   WantedBy=multi-user.target
   

   重新加载systemd配置并启动Filebeat服务：

   sudo systemctl daemon-reload
   sudo systemctl enable filebeat
   sudo systemctl start filebeat
   

验证配置

1. 检查Filebeat状态：

   sudo systemctl status filebeat
   

2. 查看Filebeat日志：

   sudo journalctl -u filebeat -f
   

3. 在Kibana中查看日志： 确保Kibana已经安装并配置好，然后通过以下URL访问Kibana仪表板：

   http://your-elasticsearch-ip:5601
   

通过以上步骤，你应该能够在CentOS上成功部署并配置Filebeat来收集和分析日志数据。[5,6,7,8,9,10,11,12,13]