考试报名
考试报名
考试内容
考试大纲
在线客服
返回顶部

备考刷题,请到

CDA认证小程序

CNN 取代RNN来做Attention出现在哪一年( )
A. 2014
B. 2015
C. 2016
D. 2017
上一题
下一题
收藏
点赞
评论
题目解析
题目评论(0)

CNN取代RNN来做Attention的关键进展出现在2017年。这一突破主要由Vaswani等人在他们的论文《Attention is All You Need》中提出,该论文介绍了Transformer模型。Transformer模型使用自注意力机制(self-attention)和完全基于注意力的架构,而不再依赖于RNNs(循环神经网络)。

在此之前,RNNs,特别是LSTM(长短时记忆网络)和GRU(门控循环单元),在处理序列数据(如自然语言处理任务)方面是主流。然而,RNNs固有的顺序计算特性限制了并行化能力,导致训练速度较慢。

Transformer模型通过引入多头自注意力机制和前馈神经网络的组合,能够并行处理序列中的所有位置。这种方法不仅提高了训练效率,还在多个任务上实现了更好的性能。

因此,正确答案是D: 2017。