Fluentd路由的示例分析

这篇文章主要为大家展示了“Fluentd路由的示例分析”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下“Fluentd路由的示例分析”这篇文章吧。

1. 简单场景：单输入->过滤器->输出

   
   

   <source>  @type forward</source>
   <filter app.**>  @type record_transformer  <record>    hostname "#{Socket.gethostname}"  </record></filter>
   <match app.**>  @type file  # ...</match>

    

   forward接收tcp消息，record_transformer给日志增加一个hostname字段，输出到file

   
   

2. 两个输入

   <source>  @type forward</source>
   <source>  @type tail  tag system.logs  # ...</source>
   <filter app.**>  @type record_transformer  <record>    hostname "#{Socket.gethostname}"  </record></filter>
   <match {app.**,system.logs}>  @type file  # ...</match>

    

   较上一个示例，增加了一个tail输入，tail产生的事件直接写文件。
   

   
   

3. 输入->过滤器->带标签的输出

   <source>  @type forward</source>
   <source>  @type dstat  @label @METRICS # dstat events are routed to <label @METRICS>  # ...</source>
   <filter app.**>  @type record_transformer  <record>    # ...  </record></filter>
   <match app.**>  @type file  # ...</match>
   <label @METRICS>  <match **>    @type elasticsearch    # ...  </match></label>

    

   forward产生的事件处理流程不变，dstat直接跳转至@METRICS指定的label，写入elasticsearch

   
   

4. 改写tag重新路由

   <match worker.**>  @type route  remove_tag_prefix worker  add_tag_prefix metrics.event
     <route **>    copy # For fall-through. Without copy, routing is stopped here.   </route>  <route **>    copy    @label @BACKUP  </route></match>
   <match metrics.event.**>  @type stdout</match>
   <label @BACKUP>  <match metrics.event.**>    @type file    path /var/log/fluent/backup  </match></label>

    

   route插件将worker标记的事件重新标记为metrics.event，并重新发送事件给路由引擎，事件进入两个处理分支：输出到stdout；写入file
   

   
   

   
   

5. 根据record内容重新路由

   <source>  @type forward</source>
   # event example: app.logs {"message":"[info]: ..."}<match app.**>  @type rewrite_tag_filter  <rule>    key message    pattern ^\[(\w+)\]    tag $1.${tag}  </rule>  # you can put more <rule></match>
   # send mail when receives alert level logs<match alert.app.**>  @type mail  # ...</match>
   # other logs are stored into file<match *.app.**>  @type file  # ...</match>

    

   forward产生的事件由rewrite_tag_filter处理，提取record中的[log_level]，添加到原tag之前，生成新的tag。事件再次进入路由引擎，alert开头的tag标记的事件，通过mail处理；其他类型的事件写入file
   

   
   

6. 重新路由到指定label

   <source>  @type forward</source>
   <match app.**>  @type copy  <store>    @type forward    # ...  </store>  <store>    @type relabel    @label @NOTIFICATION  </store></match>
   <label @NOTIFICATION>  <filter app.**>    @type grep    regexp1 message ERROR  </filter>
     <match app.**>    @type mail  </match></label>

    

以上是“Fluentd路由的示例分析”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注亿速云行业资讯频道！