BERT 论文学习 (bert论文解读)

BERT模型全称为Bidirectional Encoder Representations from Transformer，其目标是为深度双向变换器启动预训练以了解言语。

原论文题目为BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding，由Google AI Language团队颁布。

总体流程蕴含经常使用双向Transformer启动预训练，与OpenAI GPT经常使用从左到右的Transformer，以及ELMo经常使用独立训练的双向LSTM串联启动对比。

在预训练阶段，BERT经常使用了两个义务：Masked LM和Next Sentence Prediction。

Masked LM义务需要预测句子中被随机遮蔽的单词，而Next Sentence Prediction义务则判别两句话能否在文本中严密相连。

BERT的外围组件是Transformer，特意是其关键局部Attention机制。

作者将Transformer Encoder重叠12层或24层，构建出不同规模的BERT模型，参数量区分为110M和340M。

在模型输入输入方面，BERT将文本中的每个字转换为一维向量作为输入。

输入是字对应的融合全文语义消息的向量示意。

模型输入还包括文本向量，用于描写文本全局语义消息，以及位置向量，以区分不同位置的字/词。

关于不同NLP义务，BERT模型的输入和输入应用会有所不同。

模型经过预训练阶段学习到的高低文消息，为后续微调义务提供了弱小的语义示意才干。

学习资源包括一文读懂BERT、NLP的凡人肩膀、NLP必读：十分钟读懂谷歌BERT模型以及图解BERT模型，为了解BERT提供了丰盛参考。

bert什么意思

BERT的意思是指“基于高低文词的预训练模型”。

它是人造言语处置畛域中的一种关键的深度学习模型。

上方具体解释BERT的概念和原理：一、BERT的命名释义BERT是谷歌推出的一个人造言语处置预训练模型，其命名中的“Bidirectional”指的是模型在处置文本时的双向个性。

与以往的言语模型相比，BERT可以从文本的双向启动特色学习，能够更好地理解文本含意。

此外，“Transformers”是指BERT驳回的深度学习模型架构。

因为引入了Transformer结构，BERT在处置文本时，能更高效地捕捉文本中的高低文消息。

而“基于高低文词的预训练模型”则形容了其训练的外围原理，即经过少量无监视的文本数据来学习和预测词语的高低文含意。

这种预训练模型为后续的有监视义务提供了弱小的特色示意基础。

二、BERT的上班原理BERT基于Transformer架构，驳回预训练的形式学习言语特色。

在预训练阶段，它经过学习少量无标签的文本数据来捕捉言语的统计特色，并应用这些特色来处置各种类型的NLP义务。

在义务阶段，联合特定的义务数据集启动微调，使得BERT能够顺应不同的NLP义务需求。

其外围在于“预训练言语建模”，它能在大规模文本数据集中学习词义及其高低文的相关，构成高品质的词向量表白。

三、BERT的运行价值BERT在人造言语处置畛域具备宽泛的运行价值。

因为其弱小的高低文了解才干，使得它在文本分类、情感剖析、命名实体识别等义务上取得了清楚的成果优化。

此外，因为BERT的开源性和可裁减性，用户可以在其基础上启动二次开发，以顺应更多的运行场景和需求。

随着钻研的深化和技术的始终提高，BERT在人造言语处置畛域的运行前景将愈加宽广。

同时因为其良好的通用性体现使其在跨畛域的运行中具备弱小的竞争力及适用价值。

例如在多语种畛域的义务处置与辅佐编程工具的默认化开发等等都是BERT关键的运行场景方向。

从0到1一步一步解析LLM-BERT(1)

前言了解BERT模型之前，先回忆一下transformer的细节和成功，有助于轻松把握BERT的概念。

从2018年起，谷歌颁布的BERT成为NLP畛域最具影响力的论文之一，但其复杂性使得了解变得不易。

本章节将以直观图解的形式，逐渐解析BERT的切实、如何处置训练疑问以及如何构建优质模型。

什么是BERTBERT是一种适用于多种NLP义务的架构，如问答、分类、命名实体识别等。

预训练的BERT可认为序列中的每个输入token（单词）提供768维向量。

序列可以是一个句子，也可以是两个经过[CLS]和[SEP]标志的句子。

BERT模型的配置BERT的上班原理相似于深度学习模型在ImageNet上的运行。

首先，在大规模语料库上经常使用Masked LM义务训练BERT，而后经过减少额外层启动微调以口头特定义务，如分类或问答。

例如，经常使用BERT在如Wikipedia这样的语料库上启动训练，而后依据自定义数据微调模型口头分类义务。

关键在于，分类时仅经常使用[CLS] token的输入。

整个微调模型结构如下：引入一个状态为（768 x num_classes）的W层，经过交叉熵损失训练架构。

BERT的灵敏性除了分类义务，BERT还可以用于问答和命名实体识别。

实质上，BERT提供了双向的高低文嵌入。

BERT模型的关键特色外围在于为每个词提供蕴含高低文消息的768维向量。

BERT模型结构BERT由重叠的transformer编码器组成。

若需深化了解transformer编码器，请参阅张同窗的解析文章。

训练输入输入包括一对句子和不凡标志[CLS]和[SEP]。

例如，“my dog is cute”和“he likes playing”这两个句子，首先经常使用wordpiece tokenization转换为tokens，在第二个句子扫尾减少[CLS]标志，并在句子前后区分减少[SEP]标志。

wordpiece tokenization的长处此技术将“playing”拆分为“play”和“##ing”。

这有助于：1. 提供更精细的嵌入；2. 缩短序列长度。

嵌入构建经常使用预训练的词嵌入矩阵失掉token、句子和位置嵌入。

矩阵大小为x768，权重在训练时期学习。

句子嵌入示意句子类别，位置嵌入示意单词在序列中的位置。

训练Masked LM训练环节中引入的应战在于，经过Masked LM义务，BERT随机屏蔽15%的单词，仅预测这些单词的输入。

这使得模型学习预测未见过的单词，并且看到其高低文。

改良训练尝试从便捷的交叉熵损失改良，引入Masked LM义务，随机屏蔽单词以预测，有效处置了模型学习预测固定形式的疑问。

最终设置最优设置为80%的概率经常使用[MASK]，10%的概率经常使用随机词，10%的概率经常使用未扭转的词，以防止模型学习无法取的形式。

经过此方法，模型能够处置任何单词。

微调流程了解了BERT的训练环节后，行将讨论如何针对问答、分类和命名实体识别等下游义务启动微调。

总结BERT是NLP畛域的关键奉献，经过直观图解的形式解析了其切实、训练机制及微调方法，为了解BERT及其成功提供了片面的指点。