CentOS如何自定义Filebeat输出格式

在CentOS上自定义Filebeat的输出格式，你需要修改Filebeat的配置文件filebeat.yml。以下是具体步骤：

1. 打开终端。

2. 使用文本编辑器（如vim、nano等）打开filebeat.yml配置文件。通常情况下，该文件位于/etc/filebeat/filebeat.yml。例如，使用vim编辑器，你可以输入以下命令：

   sudo vim /etc/filebeat/filebeat.yml
   

3. 在filebeat.yml文件中，找到output部分。如果没有这个部分，你可以在filebeat.yml文件的末尾添加一个。接下来，你可以选择一个输出模块（例如elasticsearch、logstash等），并为其配置自定义输出格式。以下是一个将日志发送到Elasticsearch并自定义输出格式的示例：

   filebeat.inputs:
   - type: log
     enabled: true
     paths:
       - /var/log/*.log
   
   output.elasticsearch:
     hosts: ["localhost:9200"]
     index: "filebeat-%{[agent.version]}-%{+yyyy.MM.dd}"
     pipeline: "custom_pipeline"
   
   setup.template.name: "filebeat"
   setup.template.pattern: "filebeat-*"
   setup.template.enabled: false
   
   setup.ilm.enabled: false
   

   在这个示例中，我们使用了Elasticsearch作为输出模块，并设置了一个名为custom_pipeline的自定义管道。要创建自定义管道，你需要在Elasticsearch中定义一个Ingest Node Pipeline。以下是一个创建自定义管道的示例请求：

   PUT _ingest/pipeline/custom_pipeline
   {
     "description": "Custom Filebeat pipeline",
     "processors": [
       {
         "grok": {
           "field": "message",
           "patterns": [
             "%{COMBINEDAPACHELOG}"
           ]
         }
       },
       {
         "date": {
           "field": "timestamp",
           "formats": [
             "EEE MMM dd HH:mm:ss Z yyyy",
             "ISO8601"
           ]
         }
       }
     ]
   }
   

   这个示例中，我们使用了两个处理器：grok和date。grok处理器用于解析日志消息，而date处理器用于解析时间戳。你可以根据自己的需求修改这些处理器。

4. 保存并关闭filebeat.yml文件。

5. 重新启动Filebeat服务以应用更改：

   sudo systemctl restart filebeat
   

现在，Filebeat将使用自定义的输出格式发送日志到Elasticsearch。你可以根据需要修改filebeat.yml文件中的配置以及Elasticsearch管道中的处理器。