Java如何高效的读取一个超大文件

发布时间:2021-06-26 10:29:51 作者:chen
来源:亿速云 阅读:1097

这篇文章主要介绍“Java如何高效的读取一个超大文件”,在日常操作中,相信很多人在Java如何高效的读取一个超大文件问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”Java如何高效的读取一个超大文件”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!

前言

我最近在优化我的PDF转word的开源小工具,有时候会遇到一个问题,就是如果我的PDF文件比较大,几百兆,如何更快更节省内存的读取它。于是我分析对比了四种常见的读取文件的方式,并使用javaVisualVM工具进行了分析。最后的出的结论是commons-io时间和空间都更加的高效。研究分析依然来自哪位baeldung国外大佬。

下面我会给出几种常见的读取大文件的方式。

读取大文件的四种方式

首先我自己在本地压缩了一个文件夹,大概500M左右。虽然不是很大但是,相对还可以。

方法1:Guava读取

String path = "G:\\java书籍及工具.zip"; Files.readLines(new File(path), Charsets.UTF_8);

使用guava读取比较简单,一行代码就搞定了。

下面去jdk的bin目录找到javaVisualVM工具,然后双击运行即可。

Java如何高效的读取一个超大文件

从上图可以看到:

我们一个500M的文件,堆内存最高竟然2.5G,如果我们读取一个2G的文件,可能我们的电脑直接死机了就。

方式2:Apache Commons IO普通方式

String path = "G:\\java书籍及工具.zip"; FileUtils.readLines(new File(path), Charsets.UTF_8);

这种方式也比较简单,同样是一行代码。下面运行,也分析一波:

Java如何高效的读取一个超大文件

从上图可以看到:

这种方式和上面那种基本上消耗差不多,肯定不是我想要的。

方式3:java文件流

FileInputStream inputStream = null; Scanner sc = null; try {      inputStream = new FileInputStream(path);      sc = new Scanner(inputStream, "UTF-8");      while (sc.hasNextLine()) {           String line = sc.nextLine();           //System.out.println(line);      }      if (sc.ioException() != null) {           throw sc.ioException();      } } finally {      if (inputStream != null) {           inputStream.close();      }      if (sc != null) {            sc.close();      } }

这种方式其实就是java中最常见的方式,然后我们运行分析一波:

Java如何高效的读取一个超大文件

从上图可以看到:

这种方式确实很优秀,但是时间上开销更大。

方式4:Apache Commons IO流

LineIterator it = FileUtils.lineIterator(new File(path), "UTF-8"); try {       while (it.hasNext()) {           String line = it.nextLine();       } } finally {      LineIterator.closeQuietly(it); }

这种方式代码看起来比较简单,所以直接运行一波吧:

Java如何高效的读取一个超大文件

从上图可以看到:

OK,就它了,牛。

结论

通过以上的分析,我们可以得出一个结论,如果我们想要读取一个大文件,选择了错误的方式,就有可能极大地占用我的内存和CPU,当文件特别大时,会造成意向不到的问题。

因此为了去解决这样的问题,有四种常见的读取大文件的方式。通过分析对比,发现,Apache Commons IO流是最高效的一种方式。

到此,关于“Java如何高效的读取一个超大文件”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注亿速云网站,小编会继续努力为大家带来更多实用的文章!

推荐阅读:
  1. Python基于read(size)方法读取超大文件
  2. java使用多线程读取超大文件

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

java

上一篇:Nginx的产生以及用法是什么

下一篇:JS基于设计模式中单例模式实现封装对数据增删改查功能的示例分析

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》