运算和显存 Transformer功能优化 (运存与显存)

本文目录导航：

• Transformer功能优化：运算和显存
• AI大模型推理环节和优化技术
• Transformer的9种变体概览

Transformer功能优化：运算和显存

Transformer在深度学习畛域中表演着关键角色，尤其在人造言语处置、图像处置等畛域施展着关键作用。

自留意力机制造为Transformer的外围，其简直无成见的个性在少量数据的支持下，为Transformer提供了弱小的建模才干，但同时也带来了运算和显存限度的疑问。

这些疑问使得Transformer在处置长序列疑问时受限。

为处置此疑问，本文将引见一些代表性的上班，论述它们如何优化Transformer的功能。

经典的Transformer结构蕴含编码器（Encoder）和解码器（Decoder）两个部分，关键组件有：多头自留意力（Multi-Head Self-Attention）、位置前馈网络（Position-wise Feed-forward）以及残差衔接（Residual Connect）。

在这一结构中，多头自留意力模块和位置前馈网络模块在运算资源消耗上占据关键位置。

为优化Transformer的功能，钻研者们对结构启动了改良。

一种基于递归衔接的改良方法是Transformer-XL，它经过引入一个记忆形态，将以后段处置时应用前一个段的一切层暗藏向量序列启动综合，以此衔接长文本的一切段落。

在引入片段级递归机制后，Transformer-XL能够清楚提高测试效率，并且随着序列长度的增大而愈发清楚。

为处置每个段落参与相反位置编码造成的序列间位置区分疑问，Transformer-XL驳回相对位置编码，经过计算以后位置与依赖单词的相对位置相关来优化编码环节。

另一种改良方法是引入稠密留意力机制，以缩小计算开支。

Sparse Transformer是早期基于这一思绪的上班之一，它经过从新定义留意力计算环节，提出稠密留意力形式，如Strided Attention和Fixed Attention，区分实用于有法令数据和文本数据，有效降落了Transformer的计算复杂度。

Longformer在此基础上进一步设计了Sliding Window、Dilated Sliding Window和Global Attention三种形式，针对NLP义务专门优化了留意力范围，经过试验验证了其在自回归义务和下游义务上优于原始Transformer的效果。

Reformer则驳回部分哈希算法来失掉每个字符须要关注的范围，经过定义哈希函数和哈希值来对相似的token启动汇集，仅对在桶中的元素启动留意力计算，以此优化Transformer的效率。

在部分敏感哈希的基础上，论文提出多轮哈希试验，验证了其在重复句子预测义务中的效果，展现了部分哈希函数无需训练的高灵敏性。

同时，论文提出了可逆残差结构，经过奇妙拆分防止了在训练环节中记载每层激活值的内存需求，进一步优化了Transformer模型。

Linformer则从低秩合成的角度登程，经过奇特值合成证实了Attention矩阵可以被正当降维，从而将复杂度从平方级降落至线性级。

在实践运行中，Linformer经过给key和value矩阵参与线性变换来成功降维，简化了计算环节。

虽然这种方法成功了高效运转，但在自回归生成义务中存在无法有效覆盖序列消息的毛病，使得Linformer仅实用于MLM预训练义务。

在线性留意力改良中，Linear Transformer和Performer经过引入核函数代替softmax，成功了运算复杂度的降落。

Performer进一步提供了通常证实，经过向量采样和正交化技术来优化核函数映射，使得留意力计算愈加高效。

这些改良方法在长序列相关义务上体现出较高的效率和效果，为处置Transformer在处置长序列疑问时的运算和显存限度提供了有效路径。

总的来说，经过递归衔接、稠密留意力、部分哈希、低秩合成和线性留意力等改良战略，钻研者们在提高Transformer处置长序列义务的功能和效率方面取得了清楚成绩。

这些优化方法不只无通常上提供了深化了解，而且在通常中为Transformer模型的运行提供了更宽泛的或者性。

AI大模型推理环节和优化技术

AI大模型推理环节与优化技术概述：大模型推理关键基于Transformer架构，其外围是留意力机制。

推理分为prefill（输入了解和初始化）和decoding（递归推理与解码输入）两个阶段。

prefill阶段先对用户输入启动tokenize，计算自留意力并生成KV缓存，占据约90%的期间，随后采样输入，前往给客户。

decoding阶段则逐词预测并计算留意力，对每个token启动计算，占80%的期间，还需启动detokenize转换。

功能评估目的包括：1. **吞吐量**：权衡单位期间内生成字符的数量，受用户输入长度影响。

2. **首字提前**：用户输入后系统照应生成首字符的期间，与输入长度相关。

3. **提前**：生成每个字符的期间，影响流利度，受batch size影响。

4. **QPS**：每秒处置恳求数，受恳求混合和GPU应用率影响。

优化技术关键包括：- **KVCache**：存储已计算的KV值，防止重复计算。

- **散布式推理**：经过并行处置提高效率。

- **流水线处置**：优化GPU资源经常使用，如Tokenize和Detokenize。

- **灵活批处置**：兼并恳求，混合prefill和decoding。

- **量化**：如INT4、INT8、FP8，降落内存消耗和减速计算。

- **System Prompt**：共享前缀缓存，缩小首字提前。

- **预测生生长度**：预先预计长度，灵活调配内存。

- **Flash Attention**：应用GPU存储档次结构减速计算。

- **Paged Attention**：分页内存治理，按需追加显存。

- **精简Attention**：如MQA和GQA，共享参数缩小计算。

选用适合的配件也至关关键，包括Nvidia和国产AI芯片。

总的来说，优化技术旨在优化推理效率，缩小计算资源消耗，提供更快更流利的用户体验。

Transformer的9种变体概览

本文概览了Transformer的九种变体，旨在深化了解不同变体如何在原有基础上启动翻新与优化，以处置特定的NLP义务或优化功能。

首先，咱们来引见自留意力(Self-Attention)的概念。

自留意力是神经网络中的一种机制，准许模型在生成预测时有选用性地关注数据集的特定部分。

它的外围是经过学习权重来量化留意力，通常输入为一个加权平均值，而自留意力则应用同一样本内的消息启动预测，这在概念上相似于非部分操作。

自留意力的另一个关键个性是置换不变性，象征着它是对汇合操作的，不受顺序变动的影响。

接上去，让咱们看看多头自留意力(Multi-Head Self-Attention)。

这是Transformer的外围组成部分，与便捷自留意力不同，它将输入拆分为多个小块，经过并行计算每个子空间的缩放点积产品，最终将一切留意力输入启动串联，从而参与模型的表白才干。

紧接着，引见经典的Transformer结构，它蕴含编码器和解码器。

编码器经过自留意力机制从高低文中提取相关消息，解码器则应用这些消息启动预测。

编码器由6个模块组成，每个模块蕴含两个子模块：一个多头自留意力和一个点对点全衔接前馈网络。

解码器结构与编码器相似，但蕴含两个多头留意子模块，并且第一个子模块被屏蔽以防止位置穿梭。

为了提供序列中的顺序消息，位置编码(Positional Encoding)是必无法少的。

它经过向Transformer中参与特定的位置消息，确保模型能了解数据的顺序，从而防止自留意力操作的置换不变性。

接上去，咱们探讨了提高自留意力跨度的战略，如Transformer-XL。

它经过两个关键改良处置了高低文宰割疑问：暗藏形态重用，准许模型在不同序列段间共享消息，扩展了自留意力的跨度；相对位置编码，经过编码相对位置相关，模型能够更好地理解序列中元素之间的相关。

为了成功更灵敏的自留意力跨度，Adaptive Attention Span战略引入了灵活调零件制。

经过学习每个留意力头在给定高低文中所需的跨度长度，模型可以更高效地处置不同长度的序列，缩小计算和内存开支。

关于图像处置义务，Image Transformer驳回了部分留意力跨度战略，将留意力限度在图像的部分区域，以并行处置更多图像元素并控制或者性损失。

Sparse Transformers则经过稠密矩阵合成降落了计算和内存的消耗，准许构建上百层的密集留意力网络，实用于更长序列的处置。

Reformer模型经过引入部分敏感哈希(Locality-Sensitive Hashing)和可逆残差网络(Reversible Residual Network)等技术，进一步优化了Transformer的计算效率与内存经常使用。

最后，Universal Transformer联合了Transformer的全局接纳域与RNN的学习诱导偏置，经过自顺应计算期间灵活调整循环步数，提供了一种既思考全局消息又支持递归学习的模型结构。

综上所述，这些Transformer变体在自留意力机制的基础上启动了翻新与优化，旨在处置特定疑问、提高功能或扩展运行畛域，为NLP义务提供了更为灵敏、高效和准确的处置打算。