关于深度学习下的神经网络总结( 六 ) _神经

2.编码器
编码器是一种常用于处理序列数据的神经网络模型，用于自然语言处理、语音识别、机器翻译等任务中。与传统的循环神经网络不同，编码器采用了自注意力机制（Self- ）来捕捉序列数据中的上下文关系，从而提高模型的性能和效率。编码器包含多个编码层（ Layer），每个编码层中包含多头自注意力和前馈神经网络。自注意力机制可以计算序列中每个位置与其他位置之间的注意力权重，从而捕捉到不同位置之间的上下文关系。多头自注意力机制可以使用多个不同的注意力头来捕捉不同的语义信息。前馈神经网络则用于对每个位置的特征进行非线性变换，并提取更高级别的特征。编码器的优势在于它可以并行计算序列中每个位置的特征，从而极大地加快了模型的训练速度。同时，自注意力机制可以捕捉到序列中任意两个位置之间的关系，不需要像循环神经网络那样依次处理序列，因此可以处理更长的序列数据。编码器在自然语言处理领域取得了很好的效果，并且已经成为了机器翻译等任务中的主流模型。
3.解码器

文章插图
解码器是模型中的一个重要组成部分，用于将编码器输出的特征向量转换为目标语言的表达。在机器翻译等任务中，解码器扮演着非常重要的角色。
解码器的结构与编码器类似，也由多个相同的层级组成。与编码器不同的是，解码器在每一个时间步都会进行自注意力（self-）操作，以便对当前时间步的输入进行上下文信息的整合。此外，解码器还可以使用编码器的输出作为额外的注意力（multi-head ）目标。
下面我们将更详细地介绍解码器中涉及的主要组成部分。
解码器输入在开始解码之前，首先需要输入一个特殊的起始符号（例如“”）作为解码器的第一个时间步输入。在后续的时间步中，解码器会逐一读入前一个时间步的输出结果和编码器的输出，用于生成下一个时间步的输出结果。
自注意力层在编码器中，每个时间步的输入序列是固定的，并且不同时间步之间是独立的。而在解码器中，输入的序列是生成过程中不断变化的，并且不同时间步之间有着紧密的关联。为了更好地处理这样的序列数据，解码器在每个时间步都会进行自注意力操作。也就是说，它会将当前时间步的输入序列中每个元素的向量表示都与其他元素的向量表示进行比较，并对其进行加权平均，得到当前时间步的上下文表示。
注意力层除了自注意力层之外，解码器还有一种额外的注意力机制，可以利用编码器的输出来产生额外的上下文表示。具体来说，每个时间步的编码器输出会作为解码器注意力层的查询（query）向量，当前时间步的自注意力层输出会作为键（key）和值（value）向量。然后根据查询向量和键向量计算得到权重系数，最终通过加权平均的方式将值向量加权合并得到当前时间步的上下文表示。
前馈神经网络层在完成自注意力和注意力操作之后，解码器需要进一步将上下文信息进行处理，以便生成下一个时间步的输出结果。为此，解码器还包含了一层前馈神经网络层。该层采用全连接神经网络的结构，将上一层的输出映射为一个新的、更高维度的隐状态表示。
输出层最后，解码器将前馈神经网络层的输出投影到目标语言的词表大小上，以表示下一个时间步要生成的单词或子词。通常情况下，解码器会采用函数对每个单词或子词的概率进行归一化处理，以便选择最可能的单词或子词作为输出结果。