考试报名
考试报名
考试内容
考试大纲
在线客服
返回顶部

备考刷题,请到

CDA认证小程序

下面哪项是 GPT 预训练模型的特点?
A. 基于双向的 Transformer 编码器
B. 基于单向的 Transformer 解码器
C. 基于双向的 LSTM 拼接
D. D.以上都不是
上一题
下一题
收藏
点赞
评论
题目解析
题目评论(0)

正确答案是 B: 基于单向的 Transformer 解码器。

分析:

1. **GPT(Generative Pre-trained Transformer)模型特点**:
- GPT 是一种基于 Transformer 架构的语言模型。
- 它使用的是单向(或自回归)的 Transformer 解码器。这意味着模型在生成每个词时,只能使用其前面的词作为上下文,而不能使用后面的词。

2. **选项分析**:
- A: 基于双向的 Transformer 编码器:这种结构类似于 BERT(Bidirectional Encoder Representations from Transformers),而不是 GPT。BERT 是双向的,允许模型同时考虑上下文中的前后信息。
- B: 基于单向的 Transformer 解码器:这正是 GPT 的特点。GPT 通过自回归方式生成文本,逐词预测下一个词。
- C: 基于双向的 LSTM 拼接:这种方法与 Transformer 架构无关。LSTM 是一种循环神经网络,不是 Transformer。
- D: 以上都不是:由于 B 是正确的,所以 D 不成立。

因此,GPT 的预训练模型的特点是基于单向的 Transformer 解码器。