Ubuntu系统下Filebeat数据传输优化的关键措施
通过合并多行日志（如Java堆栈跟踪、应用日志块）为一个事件，减少Filebeat的处理次数。核心配置包括：
multiline.pattern：设置多行日志的匹配模式（如Java堆栈的^\[）；multiline.negate：设为true表示“非匹配行”作为新事件开始；multiline.match：设为after表示匹配行之后的内容追加到前一个事件；multiline.max_lines：限制单次日志的最大行数（避免内存溢出）。multiline.pattern: '^\['
multiline.negate: true
multiline.match: after
multiline.max_lines: 10000
若日志为JSON格式，直接解析并提取字段可减少后续处理开销。关键配置：
json.keys_under_root：设为true将JSON字段提升到日志根目录；json.overwrite_keys：设为true允许覆盖已有字段（避免重复）；json.message_key：指定存储日志消息的键（如log）；json.add_error_key：设为true将解析错误添加到日志中（便于排查）。通过持久化内存队列提高数据可靠性，同时调整队列大小以平衡内存使用与吞吐量。核心配置：
queue.type：设为persisted（默认memory，重启后丢失数据，生产环境推荐persisted）；queue.max_bytes：设置队列最大字节数（如1024mb，根据内存调整）；flush.min_events：触发批量发送的最小事件数（如2048，减少网络请求次数）；flush.timeout：批量发送的超时时间（如1s，避免长时间等待）。通过限制并发处理的harvester（文件读取器）数量，避免CPU/磁盘过载。关键配置：
harvester.limit：设置单个输入类型的最大harvester数量（如512，根据CPU核心数调整，通常为CPU核心数的2-4倍）。增大每次批量发送的文档数，减少与后端（如Elasticsearch）的网络交互次数。关键配置：
output.elasticsearch.bulk_max_size：设置每次批量发送的最大文档数（如2048，默认500，可根据网络带宽和后端处理能力调整）。启用Gzip压缩可显著减少网络传输的数据量（通常压缩率可达50%-70%）。关键配置：
output.compression：设为true（支持gzip，默认false）。Filebeat 7.0及以上版本推荐使用filestream输入类型，相比老旧的log输入，它采用更高效的文件读取机制（如内存映射），提升数据采集速度。示例配置：
filebeat.inputs:
- type: filestream
paths:
- /var/log/*.log
grok、json等解析步骤（直接发送原始日志）；if语句过滤无关日志（如调试信息），减少数据处理量。示例：processors:
- drop_event:
when:
equals:
log.level: "debug"
通过Elastic Stack的监控功能（如Kibana的Stack Monitoring）追踪Filebeat的性能指标（如日志处理速度、队列大小、批量发送延迟），及时发现瓶颈并调整配置。启用监控：
setup.monitor.enabled: true
setup.monitor.elasticsearch.hosts: ["localhost:9200"]
net.core.rmem_max、net.core.wmem_max等参数（如16777216），提高网络传输性能；/etc/security/limits.conf，设置nofile为65536（避免Filebeat因文件描述符不足而无法处理大量文件）；