avatar

Catalog
lstm的参数计算

LSTM作为RNN的一种,在计算其参数的时候可能会有一些错误的理解。如果对于参数计算过程不理解,那么对网络可能也并不是很理解。如图

上图是一个简单RNN的示意图,为了方便理解,都会画成下面的形式

这样就会造成一些误解,将RNN理解为t个不同的模块,并且错误的认为每个模块有不同的参数。其实这里的RNN就只有一个模块。其余的是时间线上的展开。LSTM也类似

上图也是时间线上的展开,不是有三个不同的lstm模块。所以这些模块的参数是相同的。

那什么时候会有多个lstm模块呢?只有当多层lstm出现的时候才会有更多的参数出现。

计算可以参考知乎上的一篇回答:https://www.zhihu.com/question/263700757

截图如下

Author: kim yhow
Link: http://yoursite.com/2020/04/02/lstm的参数计算/
Copyright Notice: All articles in this blog are licensed under CC BY-NC-SA 4.0 unless stating additionally.
Donate
  • 微信
    微信
  • 支付寶
    支付寶