Filebeat在CentOS系统监控中的作用与落地
核心作用与适用场景
- 集中采集系统与应用日志：从**/var/log/下的messages、secure、cron、audit/audit.log**等文件统一收集，便于审计、告警与合规留存。
- 可靠传输与缓冲：支持将日志发送至Elasticsearch或Logstash，在异常或网络抖动时通过持久化队列降低丢数风险。
- 可观测性增强：结合Kibana进行检索、可视化与仪表盘建设；结合systemd与Filebeat自身监控端点/指标，观测采集器健康度与吞吐。
- 生态协同：在同一套生态中，用Packetbeat采集网络流量、用Filebeat采集各类日志，实现“日志+流量”的一体化监控。
快速落地步骤
- 安装Filebeat
- 使用YUM安装（推荐）：导入GPG并添加Elastic仓库后执行安装
- sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
- echo “[elasticsearch-7.x] …” | sudo tee /etc/yum.repos.d/elasticsearch.repo
- sudo yum install -y filebeat
- 或使用RPM包：sudo yum install -y https://artifacts.elastic.co/downloads/beats/filebeat/filebeat--x86_64.rpm
- 配置采集路径
- 编辑主配置：sudo vi /etc/filebeat/filebeat.yml
- 示例（采集系统日志并忽略72小时前旧文件）：
- filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/*.log
- /var/log/messages
- /var/log/secure
ignore_older: 72h
- 配置输出
- 直连Elasticsearch（示例）：
- output.elasticsearch:
- hosts: [“localhost:9200”]
- index: “filebeat-%{+yyyy-MM-dd}”
- 或输出到Logstash进行解析与增强后再入库。
- 启动与开机自启
- sudo systemctl start filebeat
- sudo systemctl enable filebeat
- 验证
- 查看服务状态：sudo systemctl status filebeat
- 查看Filebeat自身日志：tail -f /var/log/filebeat/filebeat.log
- 若对接ES/Kibana，访问Kibana（默认5601）创建索引模式并开始检索分析。
关键配置与性能优化
- 输入类型选择：在7.x+版本优先使用filestream输入替代旧的log输入，提升稳定性与性能。
- 多行日志处理：对Java堆栈、异常等使用multiline.pattern/match正确合并，避免碎片化事件。
- 队列与可靠性：设置queue.type: persisted，并调优queue.max_bytes、flush.min_events，在重启或背压场景下减少数据丢失。
- 批量与压缩：增大bulk_max_size、开启compression，提升吞吐并降低带宽占用。
- 资源与吞吐：适当提升file descriptors限制（/etc/security/limits.conf），减少文件句柄瓶颈。
- 处理减负：仅在必要时启用处理器（如grok/json），避免复杂解析拖累采集链路。
监控Filebeat自身与可视化
- 服务与日志观测：通过systemd查看运行状态（sudo systemctl status filebeat），并跟踪**/var/log/filebeat/filebeat.log**定位错误与延迟。
- 内置指标端点：启用并访问Filebeat的HTTP API（默认8080/stats）获取事件处理、harvester、队列等运行时指标，便于对接Prometheus与自建看板。
- Kibana可视化：在Kibana中创建Index Pattern（如匹配filebeat-*），使用Discover/Visualize构建系统与应用的日志仪表盘。
网络流量监控的协同方案
- 职责划分：Filebeat负责“日志”采集；Packetbeat负责“网络流量”采集（如DNS、HTTP、MySQL等协议）。
- 部署要点：在需要观测的节点部署Packetbeat，配置与ES/Kibana一致的输出；在Kibana中分别构建“日志”和“网络”视图，实现关联分析（例如：某应用日志报错与对应时段网络异常）。