ubuntu filebeat如何处理日志格式 - 问答

Ubuntu 上 Filebeat 处理日志格式的实践指南

一处理思路总览

识别日志类型：按是否为JSON 单行、多行堆栈、系统日志（syslog）、键值或正则可解析文本进行分类。
选择处理方式：优先使用**模块（Modules）与处理器（Processors）**在 Filebeat 侧完成结构化；复杂场景可发送到 Logstash 做二次解析；最终输出到 Elasticsearch 并配合索引模板与 Kibana 展示。
关键配置位置：输入（inputs）、模块（modules）、处理器（processors）、输出（outputs）。

二常见日志格式与 Filebeat 配置

JSON 日志（每行一个 JSON 对象）
- 适用：应用直接输出 JSON（如自定义 JSON 日志、改造后的 Nginx JSON 等）。
- 要点：启用 JSON 解码，将字段提升为顶层，必要时指定 message 键与错误键。
- 示例：
```
filebeat.inputs:
  - type: log
    enabled: true
    paths:
      - /var/log/myapp/*.log
    json.keys_under_root: true
    json.add_error_key: true
    json.message_key: event
output.elasticsearch:
  hosts: ["localhost:9200"]
  index: "myapp_json-%{+yyyy.MM.dd}"
```
- 说明：keys_under_root 将 JSON 字段放到事件根层；add_error_key 在解析失败时添加 error 字段便于排查。
多行堆栈日志（Java、Python traceback 等）
- 适用：异常堆栈跨多行，需要合并为一条事件。
- 要点：用 multiline 将“非时间/异常起始行”合并到上一行；按时间或“at/Exception”等特征匹配。
- 示例：
```
filebeat.inputs:
  - type: log
    enabled: true
    paths:
      - /var/log/java/*.log
    multiline.negate: true
    multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
    multiline.match: after
    multiline.max_lines: 500
    multiline.timeout: 5s
```
- 说明：negate: true + match: after 表示“不以时间开头的行附加到前一条”；可按实际时间格式调整 pattern。
Ubuntu 系统日志（auth、syslog 等）
- 适用：/var/log/auth.log、/var/log/syslog 等系统日志。
- 要点：启用 System 模块，由模块内置解析器处理常见 syslog 格式；如需自定义可在 Logstash 进一步 grok。
- 示例：
```
# 启用模块
sudo filebeat modules enable system
sudo filebeat modules list

# 输出到 Logstash（示例）
output.logstash:
  hosts: ["192.0.2.10:5044"]
# 重启服务
sudo systemctl restart filebeat
```
- 说明：System 模块内置 fileset（如 auth、syslog），简化收集与解析；复杂场景在 Logstash 中用 grok 细化字段。
键值或正则可解析文本（如 Spring Boot 默认格式）
- 适用：非 JSON、但具备固定分隔符或模板的日志。
- 要点：使用 dissect 轻量解析；不适合再抽取子字段时，可配合 grok（通常放在 Logstash）。
- 示例（dissect 解析 Spring Boot 默认行）：
```
filebeat.inputs:
  - type: stdin
    processors:
      - dissect:
          tokenizer: "%{logDate} %{logTime}  %{logLevel} %{pid} --- [%{thread}] %{logger} : %{message}"
          field: "message"
output.console:
  enabled: true
  pretty: true
```
- 说明：dissect 基于分隔符切分，性能优于 grok；无法覆盖复杂模式时，将事件送至 Logstash 用 grok 深度解析。

三输出与索引模板

输出到 Elasticsearch
- 建议按天分索引，使用内置或自定义模板；在 filebeat.yml 中设置索引名与模板：
```
output.elasticsearch:
  hosts: ["localhost:9200"]
  index: "filebeat-%{[agent.version]}-%{+yyyy.MM.dd}"
setup.template.name: "filebeat"
setup.template.pattern: "filebeat-*"
setup.template.settings:
  index.number_of_shards: 3
```
- 说明：模板用于预置字段类型与分词，避免动态映射带来的性能与查询问题。

四调试与运行

语法校验与前台运行：使用 -e -c 快速校验并查看事件输出。
```
sudo filebeat -e -c /etc/filebeat/filebeat.yml
```
生产部署：使用 systemd 管理，变更后重启服务。
```
sudo systemctl restart filebeat
```
模块与配置路径：模块通常启用后生成/修改 /etc/filebeat/modules.d/*.yml；主配置为 /etc/filebeat/filebeat.yml。

0 赞

0 踩