分类

Generator 函数的含义与用法

作者: 阮一峰

日期: 2015年4月24日

本文是《深入掌握 ECMAScript 6 异步编程》系列文章的第一篇。

异步编程对 JavaScript 语言太重要。JavaScript 只有一根线程,如果没有异步编程,根本没法用,非卡死不可。

以前,异步编程的方法,大概有下面四种

  • 回调函数
  • 事件监听
  • 发布/订阅
  • Promise 对象

ECMAScript 6 (简称 ES6 )作为下一代 JavaScript 语言,将 JavaScript 异步编程带入了一个全新的阶段。这组系列文章的主题,就是介绍更强大、更完善的 ES6 异步编程方法。

新方法比较抽象,初学时,我常常感到费解,直到很久以后才想通,异步编程的语法目标,就是怎样让它更像同步编程。这组系列文章,将帮助你深入理解 JavaScript 异步编程的本质。所有将要讲到的内容,都已经实现了。也就是说,马上就能用,套用一句广告语,就是"未来已来"。

一、什么是异步?

所谓"异步",简单说就是一个任务分成两段,先执行第一段,然后转而执行其他任务,等做好了准备,再回过头执行第二段。比如,有一个任务是读取文件进行处理,异步的执行过程就是下面这样。

上图中,任务的第一段是向操作系统发出请求,要求读取文件。然后,程序执行其他任务,等到操作系统返回文件,再接着执行任务的第二段(处理文件)。

这种不连续的执行,就叫做异步。相应地,连续的执行,就叫做同步。

上图就是同步的执行方式。由于是连续执行,不能插入其他任务,所以操作系统从硬盘读取文件的这段时间,程序只能干等着。

二、回调函数的概念

JavaScript 语言对异步编程的实现,就是回调函数。所谓回调函数,就是把任务的第二段单独写在一个函数里面,等到重新执行这个任务的时候,就直接调用这个函数。它的英语名字 callback,直译过来就是"重新调用"。

读取文件进行处理,是这样写的。


fs.readFile('/etc/passwd', function (err, data) {
  if (err) throw err;
  console.log(data);
});

上面代码中,readFile 函数的第二个参数,就是回调函数,也就是任务的第二段。等到操作系统返回了 /etc/passwd 这个文件以后,回调函数才会执行。

一个有趣的问题是,为什么 Node.js 约定,回调函数的第一个参数,必须是错误对象err(如果没有错误,该参数就是 null)?原因是执行分成两段,在这两段之间抛出的错误,程序无法捕捉,只能当作参数,传入第二段。

三、Promise

回调函数本身并没有问题,它的问题出现在多个回调函数嵌套。假定读取A文件之后,再读取B文件,代码如下。


fs.readFile(fileA, function (err, data) {
  fs.readFile(fileB, function (err, data) {
    // ...
  });
});

不难想象,如果依次读取多个文件,就会出现多重嵌套。代码不是纵向发展,而是横向发展,很快就会乱成一团,无法管理。这种情况就称为"回调函数噩梦"(callback hell)。

Promise就是为了解决这个问题而提出的。它不是新的语法功能,而是一种新的写法,允许将回调函数的横向加载,改成纵向加载。采用Promise,连续读取多个文件,写法如下。


var readFile = require('fs-readfile-promise');

readFile(fileA)
.then(function(data){
  console.log(data.toString());
})
.then(function(){
  return readFile(fileB);
})
.then(function(data){
  console.log(data.toString());
})
.catch(function(err) {
  console.log(err);
});

上面代码中,我使用了 fs-readfile-promise 模块,它的作用就是返回一个 Promise 版本的 readFile 函数。Promise 提供 then 方法加载回调函数,catch方法捕捉执行过程中抛出的错误。

可以看到,Promise 的写法只是回调函数的改进,使用then方法以后,异步任务的两段执行看得更清楚了,除此以外,并无新意。

Promise 的最大问题是代码冗余,原来的任务被Promise 包装了一下,不管什么操作,一眼看去都是一堆 then,原来的语义变得很不清楚。

那么,有没有更好的写法呢?

四、协程

传统的编程语言,早有异步编程的解决方案(其实是多任务的解决方案)。其中有一种叫做"协程"(coroutine),意思是多个线程互相协作,完成异步任务。

协程有点像函数,又有点像线程。它的运行流程大致如下。

第一步,协程A开始执行。

第二步,协程A执行到一半,进入暂停,执行权转移到协程B。

第三步,(一段时间后)协程B交还执行权。

第四步,协程A恢复执行。

上面流程的协程A,就是异步任务,因为它分成两段(或多段)执行。

举例来说,读取文件的协程写法如下。


function asnycJob() {
  // ...其他代码
  var f = yield readFile(fileA);
  // ...其他代码
}

上面代码的函数 asyncJob 是一个协程,它的奥妙就在其中的 yield 命令。它表示执行到此处,执行权将交给其他协程。也就是说,yield命令是异步两个阶段的分界线。

协程遇到 yield 命令就暂停,等到执行权返回,再从暂停的地方继续往后执行。它的最大优点,就是代码的写法非常像同步操作,如果去除yield命令,简直一模一样。

五、Generator函数的概念

Generator 函数是协程在 ES6 的实现,最大特点就是可以交出函数的执行权(即暂停执行)。


function* gen(x){
  var y = yield x + 2;
  return y;
}

上面代码就是一个 Generator 函数。它不同于普通函数,是可以暂停执行的,所以函数名之前要加星号,以示区别。

整个 Generator 函数就是一个封装的异步任务,或者说是异步任务的容器。异步操作需要暂停的地方,都用 yield 语句注明。Generator 函数的执行方法如下。


var g = gen(1);
g.next() // { value: 3, done: false }
g.next() // { value: undefined, done: true }

上面代码中,调用 Generator 函数,会返回一个内部指针(即遍历器 )g 。这是 Generator 函数不同于普通函数的另一个地方,即执行它不会返回结果,返回的是指针对象。调用指针 g 的 next 方法,会移动内部指针(即执行异步任务的第一段),指向第一个遇到的 yield 语句,上例是执行到 x + 2 为止。

换言之,next 方法的作用是分阶段执行 Generator 函数。每次调用 next 方法,会返回一个对象,表示当前阶段的信息( value 属性和 done 属性)。value 属性是 yield 语句后面表达式的值,表示当前阶段的值;done 属性是一个布尔值,表示 Generator 函数是否执行完毕,即是否还有下一个阶段。

六、Generator 函数的数据交换和错误处理

Generator 函数可以暂停执行和恢复执行,这是它能封装异步任务的根本原因。除此之外,它还有两个特性,使它可以作为异步编程的完整解决方案:函数体内外的数据交换和错误处理机制。

next 方法返回值的 value 属性,是 Generator 函数向外输出数据;next 方法还可以接受参数,这是向 Generator 函数体内输入数据。


function* gen(x){
  var y = yield x + 2;
  return y;
}

var g = gen(1);
g.next() // { value: 3, done: false }
g.next(2) // { value: 2, done: true }

上面代码中,第一个 next 方法的 value 属性,返回表达式 x + 2 的值(3)。第二个 next 方法带有参数2,这个参数可以传入 Generator 函数,作为上个阶段异步任务的返回结果,被函数体内的变量 y 接收。因此,这一步的 value 属性,返回的就是2(变量 y 的值)。

Generator 函数内部还可以部署错误处理代码,捕获函数体外抛出的错误。


function* gen(x){
  try {
    var y = yield x + 2;
  } catch (e){ 
    console.log(e);
  }
  return y;
}

var g = gen(1);
g.next();
g.throw('出错了');
// 出错了

上面代码的最后一行,Generator 函数体外,使用指针对象的 throw 方法抛出的错误,可以被函数体内的 try ... catch 代码块捕获。这意味着,出错的代码与处理错误的代码,实现了时间和空间上的分离,这对于异步编程无疑是很重要的。

七、Generator 函数的用法

下面看看如何使用 Generator 函数,执行一个真实的异步任务。


var fetch = require('node-fetch');

function* gen(){
  var url = 'https://api.github.com/users/github';
  var result = yield fetch(url);
  console.log(result.bio);
}

上面代码中,Generator 函数封装了一个异步操作,该操作先读取一个远程接口,然后从 JSON 格式的数据解析信息。就像前面说过的,这段代码非常像同步操作,除了加上了 yield 命令。

执行这段代码的方法如下。


var g = gen();
var result = g.next();

result.value.then(function(data){
  return data.json();
}).then(function(data){
  g.next(data);
});

上面代码中,首先执行 Generator 函数,获取遍历器对象,然后使用 next 方法(第二行),执行异步任务的第一阶段。由于 Fetch 模块返回的是一个 Promise 对象,因此要用 then 方法调用下一个next 方法。

可以看到,虽然 Generator 函数将异步操作表示得很简洁,但是流程管理却不方便(即何时执行第一阶段、何时执行第二阶段)。本系列的后面部分,就将介绍如何自动化异步任务的流程管理。另外,本文对 Generator 函数的介绍很简单,详尽的教程请阅读我写的《ECMAScript 6入门》

(完)

留言(36条)

https://github.com/thunks/thunks 是用 callback 实现的类 Promise,完美的 Generator 支持

科普文,难得在前几楼留言,m.

希望阮老师介绍些循环+异步的处理方式,没有借用第三方库来实现的情况;例如这样的。
```
for(var i = 0; i yield ..
promise ..
}
```

阮老师都在不断学新东西啊,我等新人如何能不努力啊!

每次学习新东西都先看阮大神有么有相关文章,请公司领导给我推荐了阮大神,“一个能把复杂东西讲得通俗易懂的神”

协程没有涉及多线程,你的描述存在比较严重的误导。

@derek gong :

从实现的角度说,协程可以用多线程实现,也可以不用。Lua的协程就是多线程。http://www.lua.org/pil/9.4.html

从概念的角度说,协程不是多线程,因为协程不可能同时执行。但是本质上,协程与多线程是一样的,都存在多个执行栈(stack)。

偶然路过,阅读并致谢。

引用阮一峰的发言:

@derek gong :

从实现的角度说,协程可以用多线程实现,也可以不用。Lua的协程就是多线程。http://www.lua.org/pil/9.4.html

从概念的角度说,协程不是多线程,因为协程不可能同时执行。但是本质上,协程与多线程是一样的,都存在多个执行栈(stack)。

说“同时”不好,应该说“并行”,本质上,协程和线程都是为了实现“并行”,无所谓必须和线程联系在一起,只要能实现“并行”,用不用多线程都行。

不好意思,想问一下您老先生弄的在线手册下线了吗?今天中午还用了一下,现在却已经无法打开了。javascript.ruanyifeng.com

引用阮一峰的发言:

@derek gong :

从实现的角度说,协程可以用多线程实现,也可以不用。Lua的协程就是多线程。http://www.lua.org/pil/9.4.html

从概念的角度说,协程不是多线程,因为协程不可能同时执行。但是本质上,协程与多线程是一样的,都存在多个执行栈(stack)。

不能苟同,按照上述逻辑,本质上线程和进程也是一样的。


协程和线程还是有区别的,通常有这几个方面:

- 线程通常是系统实现的(也有语言模拟的,如Python的线程),协程通常是库实现的(也有语言实现的,如Go)。
- 线程的控制权通常是系统控制的,是被动的,协程的控制权通常是调用方主动控制的(需要主动yield释放控制权,Python如此,Lua如此,此处也是),这一点很重要,导致普通的协程程序很难写。
- 由于线程是系统控制的,通常切换需要进入内核态进行处理,协程通常是在用户态就完成了切换,这一点也很重要。
- 协程切换是在一个线程内进行的


这里我所学习到的是,协程是用来解决回调问题...JS依旧是单线程...

了解到了新的开发语言。

好乱,最后一段看蒙了。

一口气看了好几篇阮神的文章,感谢下!

阮老师,纠正个小错误,第四段最后一个例子,漏了*号,普通function不能yield,必须是generator

软一峰老师你好! yield * 这个好像没有介绍呢?我看koa-compose里面有,不知道自己对这个只是理解的对不

function* gen(x){
try {
var y = yield x + 2;
} catch (e){
console.log(e);
}
return y;
}


undefined
var g = gen(1);
undefined
g.next();
Object {value: 3, done: false}
g.throw('出错了');
VM323:2 Uncaught SyntaxError: Invalid or unexpected token
阮老师,这样运行会出错是什么原因啊。。

感觉这更像是一种语法糖, 本质上没有改变任何事情

引用海带丝阿飞的发言:

感觉这更像是一种语法糖, 本质上没有改变任何事情

语法糖的应该是没有改变原有的语义,比如 function(){} 写成()=>{}其实就不能说是语法糖,因为最后编译出来是不一样的。
generator就更不是语法糖了,协程是主动暂停,将控制权放出去,和callback异步是两回事

第5部分,倒数第二段:

调用指针 g 的 next 方法,会移动内部指针(即执行异步任务的第一段),指向第一个遇到的 yield 语句,上例是执行到 x + 2 为止。

这个地方应该为: 执行到 return y; 也即 执行一次 next, 跳转到下一个 yield前一条语句,如果没有,则执行到结束。

赞同@DamonChen的说法。推荐阅读《你不知道的JavaScript》中卷。

发现一个有趣的现象,如果将上面的实例改为下面的写法:
function* gen(x){
yield x + 2;
var y = x + 2;
return y;
}

var g = gen(1);
console.log(g.next());
console.log(g.next(2));

输出的是:
{ value: 3, done: false }
{ value: 3, done: true },也就是说如果function* 函数体中在第n个yield中有引用到上个第n-1个yield的中的某个变量的时候,我们在调用第n个next()时,即使传入了参数,也不会有影响。

明白了,如果generate的函数体中有n个yield,那么执行第n+ 1次next()函数时,会把gerate的函数体中的返回值作为对象的value值,默认的是undifiend。

请问阮老师,Generator 函数的用法例子中的data.json()是什么意思

这个写的看不懂,虎头蛇尾了

你们讨论的yeild这种协程,依我分析看有几种内部处理机制:
1.使用线程锁实现yeild,next()就是释放锁的,其实本身就只有一个线程
2.使用代码栈,yeild语句后面编译器会封装成一个函数,然后将这些函数指针放到一个栈里面,在next()时候依次取出执行。我觉得这种可能性更高些。
3.类似c语言的goto语句,用label区分yeild执行的代码块,next就是goto到下个label。或者像switch块,next就是执行下一个case。
仔细想应该还有方法做到。。。

自己研究了下,终于明白为什么说yield实际上是把代码分割成几部分执行

function* f_7(x)
{
yield 123;
var z = yield x + 1;
console.log('z =', z);
var y = x * 2;
return y;
}

var f7 = f_7(100);
console.log(f7.next(21)); // 返回第一个yield后的表达式 123
console.log(f7.next(22)); // 返回第二个yield后的表达式 x + 1 = 101,但z为左值,此时仍并未进行赋值操作
console.log(f7.next(23)); // 返回 y,且由于 next 传入了参数 23,z 并没赋值为 x + 1 的值

最终输出结果:
{ value: 123, done: false }
{ value: 101, done: false }
z = 23
{ value: 200, done: true }

第六段g.throw('出错了');
代码有误,应为g.throw('出错了');

function* gen(x){
var y = yield x + 2;
return y;
}

var g = gen(1);
g.next() // { value: 3, done: false }
g.next(2) // { value: 2, done: true }

g.next(2),为2,gen函数首次执行next时,会在yeild 语句暂停。而y的赋值操作并没有完成,所以第二次调用时,由于传递了参数,多以完成y = x的赋值,也就是2

我js有什麼看不懂的就先來查看看阮老師怎麼解釋,然後就會覺得之前看的文件在胡說八道

引用derek gong的发言:

协程没有涉及多线程,你的描述存在比较严重的误导。

+1

引用somnus的发言:

语法糖的应该是没有改变原有的语义,比如 function(){} 写成()=>{}其实就不能说是语法糖,因为最后编译出来是不一样的。
generator就更不是语法糖了,协程是主动暂停,将控制权放出去,和callback异步是两回事

没错 generator最大的能力在于分离了函数的执行(yield的表达式)和函数的控制(next()).和callback不是一个思路.

我认为和C语言goto类似但是有个很重要的区别,假如goto没有执行,那么标签里的代码仍然会执行,而generator不会(如有错误请批评指正)

引用小海的发言:

请问阮老师,Generator 函数的用法例子中的data.json()是什么意思

那是一个json文件

每次看老师的各种文档说明,总会让人通俗易懂,非常nice。今天离2022年过年已经越来越近,希望在前端这条道路上越走越远

我要发表看法

«-必填

«-必填,不公开

«-我信任你,不会填写广告链接