如何使用Fluentd+MongoDB采集Apache日志

这篇文章给大家介绍如何使用Fluentd+MongoDB采集Apache日志，内容非常详细，感兴趣的小伙伴们可以参考借鉴，希望对大家能有所帮助。

我们今天介绍一个组合：Fluentd+MongoDB，用以实时收集半结构化数据。

1. 背景知识
日志接入Fluentd后，会以json的格式在Fluentd内部进行路由。这就决定了Fluentd处理日志的方式是非常灵活的，它将日志视为半结构化数据，可以方便地修改其结构。
相应地，日志的最终存储数据库也应该擅长处理这样的半结构或者非结构化数据。这样整个系统搭配起来才更协调和高效。  
 
而MongoDB恰好也是以类json的方式来处理内部数据的，非常适合作为Fluentd的目标存储。  
    
 
2. 实现机制
   我们通常以下列架构来组合Fluentd+MongoDB这对CP。
    
   在这个组合中，Fluentd的职责为：
1. 持续“tail”Apache访问日志
2. 将Apache日志文本解析为有意义的字段（如ip、path等），并缓存之
3. 定期将缓存的日志写入MongoDB
   
   
3. 安装部署
1. 安装Apache、MongoDB
2. 安装Fluentd
3. 在Fluentd中安装MongoDB插件（最新版Fluentd已内置）

   fluent-gem install fluent-plugin-mongo

• 
  

接下来就是配置的事了。







4. 配置说明
1. 首先配置输入端

   <source>  @type tail  path /var/log/apache2/access_log  pos_file /var/log/td-agent/apache2.access_log.pos  <parse>    @type apache2  </parse>  tag mongo.apache.access</source>

   使用tail来追踪Apache的日志文件access_log，使用Fluentd内置的Apache日志解析器apache2来解析日志。日志事件tag为mongo.apache.access。    
   

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

• 
  

2. 再配置输出端

   <match mongo.**>  # plugin type  @type mongo
     # mongodb db + collection  database apache  collection access
     # mongodb host + port  host localhost  port 27017
     # interval  <buffer>    flush_interval 10s  </buffer>
     # make sure to include the time key  <inject>    time_key time  </inject></match>

   <match>匹配所有mongo开头的tag，使用out_mongo作为输出插件。依次配置日志存储在MongoDB中的数据库和集合、MongoDB地址和端口。设置flush间隔为10秒，每10秒将缓存的日志写入MongoDB。    
          
5. 测试验证
   确保各服务正常运行。
   我们通过ping Apache来制造一些测试数据。

   $ ab -n 100 -c 10 http://localhost/

    

• 
  

$ mongo> use apache> db["access"].findOne();{ "_id" : ObjectId("4ed1ed3a340765ce73000001"), "host" : "127.0.0.1", "user" : "-", "method" : "GET", "path" : "/", "code" : "200", "size" : "44", "time" : ISODate("2011-11-27T07:56:27Z") }{ "_id" : ObjectId("4ed1ed3a340765ce73000002"), "host" : "127.0.0.1", "user" : "-", "method" : "GET", "path" : "/", "code" : "200", "size" : "44", "time" : ISODate("2011-11-27T07:56:34Z") }{ "_id" : ObjectId("4ed1ed3a340765ce73000003"), "host" : "127.0.0.1", "user" : "-", "method" : "GET", "path" : "/", "code" : "200", "size" : "44", "time" : ISODate("2011-11-27T07:56:34Z") }

关于如何使用Fluentd+MongoDB采集Apache日志就分享到这里了，希望以上内容可以对大家有一定的帮助，可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到。