CentOS中Filebeat的日志过滤规则

在CentOS中，Filebeat的日志过滤规则可以通过配置文件（filebeat.yml）来进行设置。Filebeat支持多种过滤方式，包括基于文件路径、文件名、正则表达式等来过滤日志。以下是Filebeat配置文件中关于日志过滤的一些关键配置项：

1. exclude_files: 用于排除不需要监控的文件。例如，排除所有以.gz结尾的文件。

   exclude_files: ['\.gz$']
   

2. include_lines 和 exclude_lines: 用于指定要包含或排除的日志行。include_lines优先于exclude_lines执行。

   include_lines: ["ERR", "WARN"]
   exclude_lines: ["^dbg", "^$"]
   

3. paths: 指定要监控的日志文件路径，可以使用通配符。

   paths:
     - /var/log/messages
     - /var/log/*.log
   

4. document_type: 设定Elasticsearch输出时的document类型字段，也可以用来给日志进行分类。

   document_type: blog_ngx_log
   

5. multiline: 适用于日志中每一条日志占据多行的情况，可以设置正则表达式来匹配多行日志。

   multiline.pattern: '\['
   multiline.negate: true
   multiline.match: after
   

6. fields 和 fields_under_root: 用于向输出的每一条日志添加额外的信息，或者将新增字段作为顶级目录。

   fields:
     app_id: query_engine_12
   fields_under_root: true
   

更多详细的配置示例和解释，可以参考Filebeat的官方文档和相关的配置详解文章。

通过上述配置，Filebeat可以根据指定的规则筛选出所需的日志信息，并将其发送到配置的目的地，如Elasticsearch、Logstash等。这样可以有效地管理和分析日志数据，满足不同的业务需求。