Node.js中怎么实现文件循环写入

发布时间:2021-07-20 16:27:16 作者:Leah
来源:亿速云 阅读:552

本篇文章给大家分享的是有关Node.js中怎么实现文件循环写入,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。

假设我们需要新建一个文件,在其中循环写入0-9的数字,文件的总长度为1G bytes。在通常情况下,我们需要建立一个buffer,将内容放入其中,然后打开文件,在一个循环中多次向文件中写入,直至写满1G的长度。在node.js中我们同样可以使用同步文件写操作(例如 fs.writeSync)来实现这个逻辑,但这样做显然无法利用node.js提供的异步机制的优势。写操作会在fs.writeSync调用时阻塞,如果同时有其他运算任务需要处理,则会在进程中排队,造成 CPU资源浪费。

如果我们使用基于事件回调的异步文件写操作(例如 fs.write),如何来模拟同步模式下的循环逻辑呢?自然可以想到的一点是定义一个函数用来处理单次写入操作,然后依靠事件回调反复调用此函数,直至写满计划中的长度。但问题在于回调函数的参数形式是固定的,无法加入fd (file descriptor)和循环变量来标注当前运行的进度状况。解决这个问题,我们可以应用js语言中的“闭包”机制,因为闭包函数可以在栈中保存定义此函数的现场。

具体代码如下:

var file_size = 1024*1024*1024;         //1G  var buf_size = 10240;   var fs = require('fs');  var buf = new Buffer(buf_size);   // init temp buffer  var temp = new Buffer(10);  for (var i=0; i<10; i++) {      temp[i] = (i).toString().charCodeAt(0);  }   // init buf  for (var i=0; i<buf_size/10-1; i++) {      temp.copy(buf, 10*i);  }  temp.copy(buf, 10*i, 0, buf_size-parseInt(buf_size/10)*10);   // write to file  fs.open('big.block', 'w', 0666, function(err, fd){      if (err) throw err;       function write(err, written) {          if (err) throw err;          if (i>=file_size/buf_size) {    //close the file              fs.close(fd);          } else {            //continue to write              var length = buf_size;              if ((i+1)*buf_size>file_size) {                  length = file_size-i*buf_size;              }              fs.write(fd, buf, 0, length, null, write);              i++;          }      }       var i=0;      write(null, 0);  });

需要注意缓冲区大小对写操作的性能影响很大。过小的缓冲区会造成从磁盘到文件系统,甚至用户程序,整个过程更大的资源消耗,从而影响程序的执行效率。通过time数据可明显观察到其差别:

1K缓冲:

real 0m39.340s

user 0m18.244s

sys 0m34.750s

10K缓冲:

real 0m7.985s

user 0m2.037s

sys 0m7.525s

100K缓冲:

real 0m4.223s

user 0m0.312s

sys 0m4.077s

以上就是Node.js中怎么实现文件循环写入,小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注亿速云行业资讯频道。

推荐阅读:
  1. 利用Node.js如何实现文件循环覆写
  2. Node.js中readline如何实现逐行读取、写入文件内容

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

node.js

上一篇:nodejs中怎么提取mathjax长公式

下一篇:怎么修改gazebo物理参数

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》