LogStash中 filter如何使用

发布时间:2021-08-05 17:31:08 作者:Leah
来源:亿速云 阅读:201

LogStash中 filter如何使用,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。

<一> grok

  1. 自定义grok格式

    在conf 文件的文件夹同级目录下,一般是在patterns 文件夹下,建立自己的pattern 文件,比如extra 文件

    # contents of ./patterns/postfix:

    POSTFIX_QUEUEID [0-9A-F]{10,11}

使用举例,针对日志格式:Jan 1 06:25:43 mailserver14 postfix/cleanup[21403]: BEF25A72965: message-id=<20130101142543.5828399CCAF@mailserver14

conf 配置:

 grok{

    patterns_dir => "./patterns"

    match => [ "message", "%{SYSLOGBASE} %{POSTFIX_QUEUEID:queue_id}: %{GREEDYDATA:syslog_message}" ]

  }

}

结果为:

LogStash中 filter如何使用

匹配正确

2.一些比较神奇的Grok Pattern

比如:GREEDYDATA .*

说明:如果我不想面面俱到的匹配一坨东西,直接用Greedydata

举例:比如匹配,52:awfasdf0r8b123e:222g1g16:885579b2:9afr

    在filter 的grok 中,添加%{GREEDYDATA:sth},即可匹配上面那一串。如果你想更详细的匹配,那就自己写正则,对每一项进行匹配。 

<二> 

<三> 实际使用举例

1. 想处理java 日志信息,包括正常的info 与错误的堆栈信息怎么处理?

思路:

    filter 中,使用 multiline 对日志信息进行分组;然后使用grok 进行拆分。

需要注意的事情,可能会遇到换行的问题,这个时候怎么做?

这个时候的处理是这样的,使用GREEDYDATA 是无效的,因为这只是匹配 .* ,而 . 是不匹配 newline 的,这个时候,应该将 GreedyData 换成:

(?<message>(.|\r|\n)*)

看完上述内容是否对您有帮助呢?如果还想对相关知识有进一步的了解或阅读更多相关文章,请关注亿速云行业资讯频道,感谢您对亿速云的支持。

推荐阅读:
  1. 二、logstash原理和使用
  2. 日志分析logstash插件介绍

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

logstash filter

上一篇:SolrCloud中zookeeper如何使用

下一篇:如何解决某些HTML字符打不出来的问题

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》