使用Spark和Scala怎么分析Apache访问日志

发布时间:2021-07-24 15:21:24 作者:Leah
来源:亿速云 阅读:145

使用Spark和Scala怎么分析Apache访问日志,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。

安装

首先需要安装好Java和Scala,然后下载Spark安装,确保PATH 和JAVA_HOME 已经设置,然后需要使用Scala的SBT 构建Spark如下:

$ sbt/sbt assembly

构建时间比较长。构建完成后,通过运行下面命令确证安装成功:

$ ./bin/spark-shell

scala> val textFile = sc.textFile("README.md") // 创建一个指向 README.md 引用scala> textFile.count // 对这个文件内容行数进行计数scala> textFile.first // 打印出第一行

Apache访问日志分析器

首先我们需要使用Scala编写一个对Apache访问日志的分析器,所幸已经有人编写完成,下载Apache logfile parser code。使用SBT进行编译打包:

sbt compilesbt testsbt package

打包名称假设为AlsApacheLogParser.jar。然后在Linux命令行启动Spark:

// this works$ MASTER=local[4] SPARK_CLASSPATH=AlsApacheLogParser.jar ./bin/spark-shell

对于Spark 0.9,有些方式并不起效:

// does not work$ MASTER=local[4] ADD_JARS=AlsApacheLogParser.jar ./bin/spark-shell// does not workspark> :cp AlsApacheLogParser.jar

上传成功后,在Spark REPL创建AccessLogParser 实例:

import com.alvinalexander.accesslogparser._val p = new AccessLogParser

现在就可以像之前读取readme.cmd一样读取apache访问日志accesslog.small:

scala> val log = sc.textFile("accesslog.small")14/03/09 11:25:23 INFO MemoryStore: ensureFreeSpace(32856) called with curMem=0, maxMem=30922506214/03/09 11:25:23 INFO MemoryStore: Block broadcast_0 stored as values to memory (estimated size 32.1 KB, free 294.9 MB)log: org.apache.spark.rdd.RDD[String] = MappedRDD[1] at textFile at <console>:15scala> log.count(a lot of output here)res0: Long = 100000

分析Apache日志

我们可以分析Apache日志中404有多少个,创建方法如下:

def getStatusCode(line: Option[AccessLogRecord]) = { line match {  case Some(l) => l.httpStatusCode  case None => "0" }}

其中Option[AccessLogRecord]是分析器的返回值。

然后在Spark命令行使用如下:

log.filter(line => getStatusCode(p.parseRecord(line)) == "404").count

这个统计将返回httpStatusCode是404的行数。

深入挖掘

下面如果我们想知道哪些URL是有问题的,比如URL中有一个空格等导致404错误,显然需要下面步骤:

  1. 过滤出所有 404 记录  从每个404记录得到request字段(分析器请求的URL字符串是否有空格等)  不要返回重复的记录

创建下面方法:

// get the `request` field from an access log recorddef getRequest(rawAccessLogString: String): Option[String] = { val accessLogRecordOption = p.parseRecord(rawAccessLogString) accessLogRecordOption match {  case Some(rec) => Some(rec.request)  case None => None }}

将这些代码贴入Spark REPL,再运行如下代码:

log.filter(line => getStatusCode(p.parseRecord(line)) == "404").map(getRequest(_)).countval recs = log.filter(line => getStatusCode(p.parseRecord(line)) == "404").map(getRequest(_))val distinctRecs = log.filter(line => getStatusCode(p.parseRecord(line)) == "404").map(getRequest(_)).distinctdistinctRecs.foreach(println)

看完上述内容,你们掌握使用Spark和Scala怎么分析Apache访问日志的方法了吗?如果还想学到更多技能或想了解更多相关内容,欢迎关注亿速云行业资讯频道,感谢各位的阅读!

推荐阅读:
  1. 使用spark分析mysql慢日志
  2. Apache——AWStats日志分析

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

spark scala apache

上一篇:phpstrom使用xdebug的配置方法

下一篇:如何获取springbootyml中的值

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》