LSTM神经网络输入输出究竟是怎样的?

接触LSTM模型不久,简单看了一些相关的论文,还没有动手实现过。然而至今仍然想不通LSTM神经网络究竟是怎么工作的。就Alex Graves的Supe…
关注者
2,715
被浏览
1,487,848

62 个回答

你说不理解LSTM输入输出问题,我感觉你其实应该是对Recurrent NNs的问题。

之前有发现身边小伙伴确实不太容易理解Recurrent NNs(这里不区分LSTM,GRU)的topology结构,especially the input、output。To this end, I'd like to bridge the gap.


Recurrent NNs,一般看的最多的图是这个:

rnn

但是这个图对初学者相当不太友好。个人认为,目前所有的关于描述RecurrentNNs的图都画得不好,不够明确,里面的细节丢失了。(事实上里面一个"A"仅仅表示了一层的变换。)

非常清楚,这是很多初学者不能理解RecurrentNNs的根本原因,即在于Recurrent NNs是在time_step上的拓展的这一特性。MLP好理解,CNN也好理解,但Recurrent NNs,就是无法搞清楚里面的拓扑结构,跟MLP联系不上。

先看看,MLP,很好理解,就是一张网络清楚地显示了张量流向。general MLP是这样的拓扑:

mlp

然后CNN也好理解,跟MLP无差若干,只是权重运算由 * 变为 \otimes 。CNN是这样的拓扑:

CNN

但RecurrentNNs的拓扑发生了一个很大的改动,即一个MLP会在time_step这个维度上进行延伸,每个时序都会有input。

所以RecurrentNNs的结构图我认为应该这样画,在理解上才会更清晰些,对比MLP,也一目了然。(自己画的为了简约,只画了4个time-steps )……

ground truth RNN

看图。每个时序 t 的输入 I_{i}^{t} 我是一次time_step一张input tensor,隐状态 h_{i}^{t} 也就代表了一张MLP的hidden layer的一个cell。输出 o_{i}^{t} 理解无异。注意,红色的箭头指向indicates the tensor's flow at time-sequential order。

再结合一个操作实例说明。如果我有一条长文本,我给句子事先分割好句子,并且进行tokenize, dictionarize,接着再由look up table 查找到embedding,将token由embedding表示,再对应到上图的输入。流程如下:

step1, raw text:
接触LSTM模型不久,简单看了一些相关的论文,还没有动手实现过。然而至今仍然想不通LSTM神经网络究竟是怎么工作的。……

step2, tokenize (中文得分词):
sentence1: 接触 LSTM 模型 不久 ,简单 看了 一些 相关的 论文 , 还 没有 动手 实现过 。
sentence2: 然而 至今 仍然 想不通 LSTM 神经网络 究竟是 怎么 工作的。
……

step3, dictionarize:
sentence1: 1 34 21 98 10 23 9 23
sentence2: 17 12 21 12 8 10 13 79 31 44 9 23
……

step4, padding every sentence to fixed length:
sentence1: 1 34 21 98 10 23 9 23 0 0 0 0 0
sentence2: 17 12 21 12 8 10 13 79 31 44 9 23 0
……

step5, mapping token to an embeddings:
sentence1:
\left[ \begin{array}{ccc} 0.341 & 0.133 & 0.011 &…\\ 0.435 & 0.081 & 0.501 &…\\ 0.013 & 0.958 & 0.121 &…\\ … & … & … &… \end{array} \right ] ,每一列代表一个词向量,词向量维度自行确定;矩阵列数固定为time_step length。
sentence2:
……

step6, feed into RNNs as input:
假设 一个RNN的time_step 确定为 l ,则padded sentence length(step5中矩阵列数)固定为 l 。一次RNNs的run只处理一条sentence。每个sentence的每个token的embedding对应了每个时序 t 的输入 I_{i}^{t} 。一次RNNs的run,连续地将整个sentence处理完。

step7, get output:
看图,每个time_step都是可以输出当前时序 t 的隐状态 h_{i}^{t} ;但整体RNN的输出 o_{i}^{t} 是在最后一个time_step t=l 时获取,才是完整的最终结果。

step8, further processing with the output:
我们可以将output根据分类任务或回归拟合任务的不同,分别进一步处理。比如,传给cross_entropy&softmax进行分类……或者获取每个time_step对应的隐状态 h_{i}^{t} ,做seq2seq 网络……或者搞创新……

这是基础款RNN的流程。仅仅是基础款哦,高阶的有各种创新,此处不宜展开。

feel better now?


另外,也可查看TensorFlow的RNN的源码可获得identification,即RNN的一次dynamic_run即是,将每个MLP的hidden cell的_call()函数在整个time_step上连续地调用一次,已达到时序传递计算的目的。


至于LSTM、RGU,那就是在MLP的每个hidden cell(一个黄色circle)与下一个time_step 的hidden cell的传值机制的more sophisticated tactics,based on this text 现在应该好理解了。


Willing to be a better bridge.

Hope this help.

这个问题也困扰了我很久,后来终于明白了,很多资料都没有在这个地方做详细的解释,那就是 LSTM 的 cell 里面的 num_units 该怎么理解,其实也是很简单,看看下图:

图来自 colah's blog

可以看到中间的 cell 里面有四个黄色小框,你如果理解了那个代表的含义一切就明白了,每一个小黄框代表一个前馈网络层,对,就是经典的神经网络的结构,num_units就是这个层的隐藏神经元个数,就这么简单。其中1、2、4的激活函数是 sigmoid,第三个的激活函数是 tanh。


另外几个需要注意的地方:

1、 cell 的状态是一个向量,是有多个值的。。。一开始没有理解这点的时候怎么都想不明白

2、 上一次的状态 h(t-1)是怎么和下一次的输入 x(t) 结合(concat)起来的,这也是很多资料没有明白讲的地方,也很简单,concat, 直白的说就是把二者直接拼起来,比如 x是28位的向量,h(t-1)是128位的,那么拼起来就是156位的向量,就是这么简单。。

3、 cell 的权重是共享的,这是什么意思呢?这是指这张图片上有三个绿色的大框,代表三个 cell 对吧,但是实际上,它只是代表了一个 cell 在不同时序时候的状态,所有的数据只会通过一个 cell,然后不断更新它的权重。

4、那么一层的 LSTM 的参数有多少个?根据第 3 点的说明,我们知道参数的数量是由 cell 的数量决定的,这里只有一个 cell,所以参数的数量就是这个 cell 里面用到的参数个数。假设 num_units 是128,输入是28位的,那么根据上面的第 2 点,可以得到,四个小黄框的参数一共有 (128+28)*(128*4),也就是156 * 512,可以看看 TensorFlow 的最简单的 LSTM 的案例,中间层的参数就是这样,不过还要加上输出的时候的激活函数的参数,假设是10个类的话,就是128*10的 W 参数和10个bias 参数

5、cell 最上面的一条线的状态即 s(t) 代表了长时记忆,而下面的 h(t)则代表了工作记忆或短时记忆

暂时这么多。