Filebeat与Logstash协同工作的方式主要涉及Filebeat收集日志数据并将其发送到Logstash进行进一步处理。以下是它们协同工作的具体步骤和配置示例:
Filebeat配置示例:
以下是一个Filebeat配置示例,展示如何配置Filebeat以收集特定日志文件并将其发送到Logstash:
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/nginx/access.log
- /var/log/nginx/error.log
output.logstash:
enabled: true
hosts:
- "logstash_host:5044"
在这个配置中,Filebeat会收集 /var/log/nginx/access.log
和 /var/log/nginx/error.log
文件,并将它们发送到运行在 logstash_host
上,监听端口为 5044 的Logstash实例。
Logstash配置示例:
以下是一个Logstash配置示例,展示如何配置Logstash以接收来自Filebeat的日志并进行处理:
input {
beats {
port: 5044
}
}
filter {
if [fields][log_type] == "nginx-access" {
grok {
match { "message" => "%{COMBINEDAPACHELOG}" }
}
date {
match [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
}
}
if [fields][log_type] == "nginx-error" {
grok {
match { "message" => "%{ERRORLOG}" }
}
date {
match [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
}
}
}
output {
elasticsearch {
hosts [ "elasticsearch_host:9200" ]
index "nginx-%{YYYY.MM.dd}"
}
}
在这个配置中,Logstash会监听来自Filebeat的输入,使用Grok过滤器解析日志,并将处理后的日志输出到Elasticsearch。
通过这种方式,Filebeat和Logstash可以协同工作,实现高效的日志收集和处理。