以下是Debian系统下Filebeat的性能调优方法:
queue.mem.events:设置内存队列事件数(如2048,平衡内存与吞吐量)。queue.mem.flush.min_events:减少刷盘等待事件数(如1536),提升实时性。filestream输入类型(7.0+版本推荐),替代老旧log类型。ignore_older忽略旧文件(如48h),减少无效扫描。scan_frequency降低文件扫描频率,减轻CPU负载。bulk_max_size(如2048),增大每次批量发送数据量,减少网络开销。sudo sysctl -w net.core.rmem_max=16777216。/etc/security/limits.conf,增加nofile值。file_input使用内存映射文件,减少磁盘I/O。max_file_size和scan_frequency合理分配资源,避免单文件处理阻塞。compression: gzip),减少网络带宽占用。grok或json解析,直接发送原始日志。参考来源: