提升Filebeat日志收集效率可从配置优化、性能调优、资源管理等方面入手,具体措施如下:
filestream输入类型,替代老旧log类型,提升文件读取效率。multiline.pattern等参数,合并多行日志为单个事件,减少处理开销。exclude_lines、ignore_older等参数过滤无效日志,降低处理量。bulk_max_size(如设置为1000),减少与输出端(如Elasticsearch)的通信次数。worker数量(需匹配输出端节点数),提升并行处理能力。harvester_buffer_size(如64KB),提升大文件读取效率。queue.type: persisted,并配置queue.max_bytes,平衡内存与磁盘使用。参考来源: