正确答案是 B: 在BPTT中,第一个求和是接收来自输入层的数据,第二个是接收来自上一隐藏层的数据。
分析:
A: 在RNN中,每个时间步骤用到的参数都是一样的(即共享参数),但是每一时间的输入和输出是不一样的。这是RNN的基本特性之一,允许它在处理序列数据时具有记忆能力,因此描述是正确的。
B: 在BPTT(Backpropagation Through Time)中,错误的描述是“第一个求和是接收来自输入层的数据,第二个是接收来自上一隐藏层的数据”。实际上,在BPTT中,误差的传播是通过时间展开的网络结构进行的。这个过程涉及到计算每个时间步的误差梯度,并将其反向传播到前一时间步。误差梯度的计算涉及到输入层、隐藏层和输出层之间的权重更新,而不是简单的两个求和过程。
C: 在RNN的后向传播中,累积残差确实包括当前时间输出层传回的残差和下一时间隐藏层传回的残差。这是因为RNN的结构使得误差不仅需要从输出层传回,还需要在时间上反向传播,因此描述是正确的。
D: RNN在处理中存在梯度消失问题,这确实是一个已知问题。由于RNN通过时间展开,长时间序列中的梯度可能逐渐变小,从而导致早期信号被忽略。这是RNN的一个主要缺点,通常通过使用LSTM或GRU等改进的网络结构来缓解。因此描述是正确的。