优化CentOS中Filebeat性能的实践指南
优先使用filestream输入类型（Filebeat 7.0及以上版本推荐），替代老旧的log输入类型。filestream采用更高效的文件监控机制，能显著提升大文件处理和文件变动检测的性能。
harvester.buffer_size参数增大单个harvester的缓冲区（如设置为40MB），减少磁盘I/O次数，提升数据读取效率。scan_frequency参数调整文件扫描间隔（如设置为5秒），平衡实时性与CPU占用（默认10秒可能对高频变动的日志目录造成不必要的负担）。multiline.pattern（匹配多行起始行的正则）、multiline.negate（是否取反匹配）、multiline.match（多行合并方式，如after或before）及multiline.max_lines（单条日志最大行数，如1000行），避免因复杂的多行匹配逻辑导致CPU过载。queue.type设置为persisted，确保Filebeat重启后不会丢失未发送的数据，同时提升队列的可靠性。queue.max_bytes参数增大内存队列容量（如设置为1GB），避免因队列满导致数据丢弃；设置flush.min_events（如1500条）和flush.timeout（如1秒），平衡内存使用与数据发送及时性。output.elasticsearch.bulk_max_size参数增加每次批量发送的事件数（如设置为15000条），减少网络请求次数，提升发送效率（需根据ES集群的承受能力调整，避免过大导致ES节点压力过高）。flush_interval参数设置批量发送的最小间隔（如1秒），避免因批量大小未达到阈值而延迟数据发送。Filebeat需要监控大量文件，需增加文件描述符限制。编辑/etc/security/limits.conf文件，添加以下内容：
* soft nofile 65536
* hard nofile 65536
然后修改/etc/systemd/system/filebeat.service文件，在[Service]段添加LimitNOFILE=65536，最后执行systemctl daemon-reload使配置生效。
/etc/selinux/config文件，将SELINUX=enforcing改为SELINUX=disabled，然后重启系统。ignore_older参数设置文件未被修改的时间阈值（如168小时，即一周），避免Filebeat重复处理历史日志。close_inactive参数设置harvester的关闭时间（如2小时），释放资源用于处理新文件。在file输入类型的配置中添加file.type: memory_map，利用内存映射技术提升文件读取速度，减少磁盘I/O开销（适用于大文件或高频读取的场景）。
通过Kibana的Stack Monitoring功能，监测Filebeat的关键性能指标（如日志处理速率、队列积压情况、发送延迟），及时发现瓶颈（如ES集群响应慢导致的批量发送延迟）。
在大型环境中，可通过Docker或Kubernetes运行多个Filebeat实例，将日志采集负载分散到不同节点，提升整体吞吐量（需确保各实例监控不同的日志目录或文件）。