LSTM

lstm的隐层cell数是有限的,比如一个lstm只有10个cell,Lucy的日记本只能记10天,第11天Lucy掏出了一个全新的本子,这个新本子如何和旧本子产生关联呢?当x10输入s10,s用完了,x11只能输入s1,输出的y11能得到c1至c10的历史经验吗?我觉得是不能的,那么就意味着y11是个大误差的输出~~

隐藏层无论是多少个cell,都是共用的,也就是每一天的日记,都是在前一天日记的基础上做出修改,所以无论过多少天,本子都不会用完的。cell都是共用的,不存在cell1和cell9的说法。对于lstm来说任意t时刻cell的输入都是\(X_t\)\(h_{t-1}\)

为啥左图输出是Yt,右图上面输出的是ht?

\(h_t\)代表中间的隐藏层,\(Y_t\)是最终的输出。左侧的图是简化以后的样子,实际上LSTM是可以多层堆叠的,层间的输出就是\(h_t\),最终的输出结果就是\(Y_t\)

请问新的时间链,也就是“日记本上的信息”是哪里得到的呢?

新的时间链是网络结构上增加的,通过forget gate删减,input gate不断增添,时序传递。