您好,欢迎来到三六零分类信息网!老站,搜索引擎当天收录,欢迎发信息
免费发信息
三六零分类信息网 > 淮北分类信息网,免费分类信息发布

Nodejs学习笔记之Stream模块_node.js

2024/2/25 23:13:15发布23次查看
一,开篇分析
流是一个抽象接口,被 node 中的很多对象所实现。比如对一个 http 服务器的请求是一个流,stdout 也是一个流。流是可读,可写或兼具两者的。
最早接触stream是从早期的unix开始的, 数十年的实践证明stream 思想可以很简单的开发出一些庞大的系统。
在unix里,stream是通过 | 实现的。在node中,作为内置的stream模块,很多核心模块和三方模块都使用到。
和unix一样,node stream主要的操作也是.pipe(),使用者可以使用反压力机制来控制读和写的平衡。
stream 可以为开发者提供可以重复使用统一的接口,通过抽象的stream接口来控制stream之间的读写平衡。
一个tcp连接既是可读流,又是可写流,而http连接则不同,一个http request对象是可读流,而http response对象则是可写流。
流的传输过程默认是以buffer的形式传输的,除非你给他设置其他编码形式,以下是一个例子:
复制代码 代码如下:
var http = require('http') ;
  var server = http.createserver(function(req,res){
     res.writeheader(200, {'content-type': 'text/plain'}) ;
     res.end(hello,大熊!) ;
  }) ;
  server.listen(8888) ;
  console.log(http server running on port 8888 ...) ;
运行后会有乱码出现,原因就是没有设置指定的字符集,比如:“utf-8” 。
修改一下就好:
复制代码 代码如下:
var http = require('http') ;
 var server = http.createserver(function(req,res){
    res.writeheader(200,{
        'content-type' : 'text/plain;charset=utf-8'  // 添加charset=utf-8
    }) ;
    res.end(hello,大熊!) ;
 }) ;
 server.listen(8888) ;
 console.log(http server running on port 8888 ...) ;
运行结果:
为什么使用stream
node中的i/o是异步的,因此对磁盘和网络的读写需要通过回调函数来读取数据,下面是一个文件下载例子
上代码:
复制代码 代码如下:
var http = require('http') ;
 var fs = require('fs') ;
 var server = http.createserver(function (req, res) {
     fs.readfile(__dirname + '/data.txt', function (err, data) {
         res.end(data);
     }) ;
 }) ;
 server.listen(8888) ;
代码可以实现需要的功能,但是服务在发送文件数据之前需要缓存整个文件数据到内存,如果data.txt文件很
大并且并发量很大的话,会浪费很多内存。因为用户需要等到整个文件缓存到内存才能接受的文件数据,这样导致
用户体验相当不好。不过还好(req,res)两个参数都是stream,这样我们可以用fs.createreadstream()代替fs.readfile()。如下:
复制代码 代码如下:
var http = require('http') ;
 var fs = require('fs') ;
 var server = http.createserver(function (req, res) {
     var stream = fs.createreadstream(__dirname + '/data.txt') ;
     stream.pipe(res) ;
 }) ;
 server.listen(8888) ;
.pipe()方法监听fs.createreadstream()的'data' 和'end'事件,这样data.txt文件就不需要缓存整
个文件,当客户端连接完成之后马上可以发送一个数据块到客户端。使用.pipe()另一个好处是可以解决当客户
端延迟非常大时导致的读写不平衡问题。
有五种基本的stream:readable,writable,transform,duplex,and classic” 。(具体使用请自己查阅api)
二,实例引入
当内存中无法一次装下需要处理的数据时,或者一边读取一边处理更加高效时,我们就需要用到数据流。nodejs中通过各种stream来提供对数据流的操作。
以大文件拷贝程序为例,我们可以为数据源创建一个只读数据流,示例如下:
复制代码 代码如下:
var rs = fs.createreadstream(pathname);
 rs.on('data', function (chunk) {
     dosomething(chunk) ; // 具体细节自己任意发挥
 });
 rs.on('end', function () {
     cleanup() ;
 }) ;
代码中data事件会源源不断地被触发,不管dosomething函数是否处理得过来。代码可以继续做如下改造,以解决这个问题。
复制代码 代码如下:
var rs = fs.createreadstream(src) ;
 rs.on('data', function (chunk) {
     rs.pause() ;
     dosomething(chunk, function () {
         rs.resume() ;
     }) ;
 }) ;
 rs.on('end', function () {
     cleanup();
 })  ;
给dosomething函数加上了回调,因此我们可以在处理数据前暂停数据读取,并在处理数据后继续读取数据。此外,我们也可以为数据目标创建一个只写数据流,如下:
复制代码 代码如下:
var rs = fs.createreadstream(src) ;
 var ws = fs.createwritestream(dst) ;
 rs.on('data', function (chunk) {
     ws.write(chunk);
 }) ;
 rs.on('end', function () {
     ws.end();
 }) ;
dosomething换成了往只写数据流里写入数据后,以上代码看起来就像是一个文件拷贝程序了。但是以上代码存在上边提到的问题,如果写入速度跟不上读取速度的话,只写数据流内部的缓存会爆仓。我们可以根据.write方法的返回值来判断传入的数据是写入目标了,还是临时放在了缓存了,并根据drain事件来判断什么时候只写数据流已经将缓存中的数据写入目标,可以传入下一个待写数据了。因此代码如下:
复制代码 代码如下:
var rs = fs.createreadstream(src) ;
 var ws = fs.createwritestream(dst) ;
 rs.on('data', function (chunk) {
     if (ws.write(chunk) === false) {
         rs.pause() ;
     }
 }) ;
 rs.on('end', function () {
     ws.end();
 });
 ws.on('drain', function () {
     rs.resume();
 }) ;
最终实现了数据从只读数据流到只写数据流的搬运,并包括了防爆仓控制。因为这种使用场景很多,例如上边的大文件拷贝程序,nodejs直接提供了.pipe方法来做这件事情,其内部实现方式与上边的代码类似。
下面是一个更加完整的复制文件的过程:
复制代码 代码如下:
var fs = require('fs'),
  path = require('path'),
  out = process.stdout;
var filepath = '/bb/bigbear.mkv';
var readstream = fs.createreadstream(filepath);
var writestream = fs.createwritestream('file.mkv');
var stat = fs.statsync(filepath);
var totalsize = stat.size;
var passedlength = 0;
var lastsize = 0;
var starttime = date.now();
readstream.on('data', function(chunk) {
  passedlength += chunk.length;
  if (writestream.write(chunk) === false) {
    readstream.pause();
  }
});
readstream.on('end', function() {
  writestream.end();
});
writestream.on('drain', function() {
  readstream.resume();
});
settimeout(function show() {
  var percent = math.ceil((passedlength / totalsize) * 100);
  var size = math.ceil(passedlength / 1000000);
  var diff = size - lastsize;
  lastsize = size;
  out.clearline();
  out.cursorto(0);
  out.write('已完成' + size + 'mb, ' + percent + '%, 速度:' + diff * 2 + 'mb/s');
  if (passedlength     settimeout(show, 500);
  } else {
    var endtime = date.now();
    console.log();
    console.log('共用时:' + (endtime - starttime) / 1000 + '秒。');
  }
}, 500);
可以把上面的代码保存为 copy.js 试验一下我们添加了一个递归的 settimeout (或者直接使用setinterval)来做一个旁观者,
每500ms观察一次完成进度,并把已完成的大小、百分比和复制速度一并写到控制台上,当复制完成时,计算总的耗费时间。
三,总结一下
(1),理解stream概念。
(2),熟练使用相关stream的api
(3),注意细节的把控,比如:大文件的拷贝,采用的使用 “chunk data” 的形式进行分片处理。
(4),pipe的使用
(5),再次强调一个概念:一个tcp连接既是可读流,又是可写流,而http连接则不同,一个http request对象是可读流,而http response对象则是可写流。
淮北分类信息网,免费分类信息发布

VIP推荐

免费发布信息,免费发布B2B信息网站平台 - 三六零分类信息网 沪ICP备09012988号-2
企业名录