Attention

本文目录导航：

• Attention-is-all-your-need谷歌的超强特色提取网络——Transformer
• transformer模型中的"多头留意力机制"的长处是什么?
• 【卷积 与 Attention 解析】Demystifying Local Vision Transformer

Attention-is-all-your-need谷歌的超强特色提取网络——Transformer

Transformer架构的引入推翻了人造言语处置畛域。

谷歌于2017年提出该网络架构后，学术界为之惊动。

在NLP畛域，Transformer模型被以为是逾越卷积神经网络（CNN）和循环神经网络（RNN）的弱小特色提取器。

Transformer的外围长处在于引入了自留意力机制（self-attention），并自创了残差结构（residuals）。

这种机制不只增强了模型的表白才干，思考到句子中词与词之间的关联，而且防止了RNN的循环结构，提高了模型的训练速度。

Transformer的关键部分包含scaled dot-product attention、multi-head步骤和残差网络结构。

scaled dot-product attention经过Q、W、V参数计算句子中词与词之间的关联关键水平，成功词向量空间的映射和关联度的计算。

multi-head步骤则重复口头scaled dot-product attention，拼接结果并坚持参数独立性。

残差网络结构将输入与原始输入相加，放慢训练环节。

实战部分中，经常使用multi-head attention或self-attention作为文本分类的最终特色。

首先，载入情感剖析数据，格局为一句话和一个标签。

接着，经过代码将数据预处置，确保一切文本具备相反的长度。

之后，经过scaled dot-product attention构建关键模型部分，成功对句子中词与词之间关联水平的思考。

在keras中定义self-attention层时，添加multi-head和mask配置，提高模型的准确性。

为增强语义表白，定义位置编码层。

谷歌论文间接给出了position embedding层的公式，经过数学公式将位置消息编码到向量中，提供相对位置消息，进一步优化模型性能。

模型构建阶段，经常使用定义的self-attention层和位置编码层，设置8个head，经过重复口头self-attention流程8次。

最后，经常使用GlobalAveragePooling1D函数将8个head的向量求敌对均，作为模型的最终输入。

模型结构可视化输入展现了档次化的网络设计。

模型训练时，经过预处置数据喂给模型，设置适合的batch size和epoch启动训练。

在资源受限的环境下，如经常使用笔记本的CPU，训练一个epoch即可。

Transformer的改造之处在于引入自留意力机制，强调词与词之间的咨询，使得模型在NLP畛域的性能大幅优化。

在机器浏览（R-Net）等运行中，这种思维也展现出渺小的后劲。

深度学习在NLP畛域最外围的应战在于如何更有效地开掘句子的语义，这正是Transformer带来的启发。

transformer模型中的"多头留意力机制"的长处是什么?

1. Transformer模型的外围是留意力机制（Attention Mechanism），它在处置长距离依赖方面比循环神经网络（RNN）和卷积神经网络（CNN）更有效。

2. 留意力机制的引入是为了处置神经网络在处置少量消息时计算才干有限的疑问，以及优化算法的限度。

它准许模型有选用性地关注输入消息中的关键部分，从而提高效率和表白才干。

3. 留意力机制可以分为聚焦式（focus）和清楚性（saliency-based）两类。

在深度学习畛域，理论指的是聚焦式留意力，它是一种自上而下的无看法的留意力，即被动留意。

4. 留意力机制的计算流程包含消息输入、计算留意力散布α、依据留意力散布α 来计算输入消息的加权平均。

其中，soft attention 机制准许模型在给定查问q时，对一切或者的键值对启动加权求和，而硬留意力（hard attention）则选用最高概率或随机采样的键值对。

5. 留意力机制的一些变种包含键值对留意力、多头留意力等。

多头留意力准许模型并行地计算多个查问Q，以取得输入消息的不同方面，而后将结果拼接起来。

6. Transformer模型由多个留意力机制组成，包含编码器（Encoder）和解码器（Decoder）。

编码器用于处置输入序列，解码器用于生成输入序列。

在解码器中，有一种不凡的留意力机制——Encoder-Decoder attention，它准许解码器在生成输入时参考编码器的所有输入。

7. 在Transformer中，自留意力（self-attention）机制用于在编码器和解码器中建设长距离依赖相关。

自留意力机制的计算环节触及多头留意力，其中每个头计算一个留意力得分，而后将这些得分加权求和以生成最终的输入。

8. Transformer在GPT和BERT等模型中的运行有所不同。

GPT经常使用Transformer Decoder部分来训练单向言语模型，而BERT经常使用Transformer Encoder并在其基础上添加了Masked操作来训练双向言语模型。

以上内容改写后，愈加准确地形容了留意力机制和Transformer模型的原理及其在不同模型中的运行。

【卷积 与 Attention 解析】Demystifying Local Vision Transformer

本文旨在解析卷积与Attention在视觉转换器中的关联与区别，虽对试验部分的设定有所质疑，但对两者概述明晰。

首先，让咱们经过各类图示对概念启动总结：个别卷积关注一切通道与部分位置；全局Attention和空间MLP关注繁多通道与全局位置；部分Attention与深度DW卷积关注繁多通道与部分位置；点层面的MLP或1*1卷积关注繁多位置与一切通道；全衔接MLP则有关注焦点。

本文重点在于讨论部分Attention，其公式定义如下：将通道数目分为多个端口，构成特定结构。

比拟时，深度卷积在共享权重与位置和通道共享的个性上与部分Attention有所不同，而部分Attention则在窗口内一切通道共享权重，但每个位置的核权重不同。

在灵活性与位置权重共享上，留意力机制提供了灵活衔接，而卷积则在滑动时失掉特色间的位置相关。

部分Attention结构为特色点积，引上天位编码后变为灵活权重与静态权重的组合。

部分Attention可示意为部分卷积权重，引入了post-convolutional attention与pre-convolutional attention的公式。

MLP定义为对一切位置和通道关联的权重矩阵，而卷积则在通道与位置权重上启动了少量置零。

合成的MLP与分别的深度DW卷积经过将通道不关联的DW卷积与1*1卷积层联合，成功通道全衔接。

低秩操作缩小通道数或降采样，如金字塔结构经过卷积降采样。

试验对比各种结构后，作者总结灵活DW卷积成果最佳，相当于部分Attention加上了通道维度的衔接。

本文钻研结果提醒了卷积与Attention在视觉转换器中的外在咨询与个性，经过对比剖析，为相关畛域的钻研提供了参考与启发。