K (k 歌之王)

本文目录导航：

• K-BERT了解
• GraphRAG：常识图谱+大模型
• 北大关于常识图谱与图数据库的钻研上班

K-BERT了解

BERT它是一种从大规模语料库中学得言语表征的模型，然而，在专业畛域体现不佳。为了处置该疑问，作者提出了一个基于常识图谱的言语示意模型K-BERT.

然而，过多的思考畛域常识或者造成语句语义发生失误，这个疑问被称为常识噪声（Knowledge noies, KN）。

为了处置KN疑问，K-BERT引入了soft-position和可视化矩阵(visible matrix)来限度来如今畛域常识的影响。

BERT是基于大规模开明预料的预训练模型，关于下游义务，只有微调就可排汇专业畛域常识。

然而由于预训练和微调之间存在畛域常识差异，因此在畛域常识驱动型义务上，BERT无法取得满意的体现。

一种处置方法就是基于畛域常识的语料库启动预训练，然而这样做耗时耗力，对大少数用户是不能接受的。

因此作者以为 引入常识图谱来使得模型成为畛域专家 是一个很好的处置打算，由于：

然而，这种方法面临2个应战：

于是作者提出了K-BERT模型，K-BERT可以加载恣意BERT模型，而后很容易植入畛域常识，而不须要在启动预训练。

随着2018年Google推出BERT模型，很多人从预训练环节和编码器两方面启动了优化，详细罗列如下：

另一方面，常识图谱与词向量结合的钻研早在预训练LR(Language Representation)模型之前就有人在做了：

上述方法的关键缺陷是：

K-BERT的模型结构如下图所示：

模型结构蕴含如下4层：

Knowledge layer(KL)的作用是1)将常识图谱注入到句子中；2)成功句子树的转换。

给定常识图谱，输入一句话，经KL层后输入句子树

该环节分为两步：常识查问（K-Query）和常识注入（K-Inject）

公式化示意为：

Embedding layer(EL)的作用是将句子树转换成嵌入表白。

和BERT一样，K-BERT的嵌入示意包括三局部：token embedding, position embedding 和 segment embedding。

关键是如何将句子树转换成一个序列，同时保管它的结构消息。

这种便捷的处置使得句子失去了其结构消息，作者经过soft-position和visible matrix处置该疑问。

Seeing layer是K-BERT和BERT的最大区别，也是本文方法有效的关键！

前文曾经讲了引入KG或者形成KN疑问，于是Seeing layer层的作用就是经过一个visible matrix来限度词与词之间的咨询。

visible matrix 的定义如下： 示意两个词在同一支路上； 示意两个词不在同一支路上。 和是hard-position index.

Note:soft-position index 和 hard-position index 见图2.

由于Transformer的编码器不能接纳visible matrix作为输入，因此作者对其启动了改造，称为Mask-Transformer.所谓Mask-Transformer，其实就是 mask-self-attention 块的重叠。

符号定义同BERT：

Mask-Self-Attention

Mask-Self-Attention的数学定义如下： 其中：

假设 对 无法见，则 ，从而留意力.

Mask-Transformer的实体图如下：

从上图可以看到， 对 是无法见的。

然而是可以直接影响到 的。

作者在12个中文NLP义务上对K-BERT启动了测试。

为了反响KG和RL(Representation Language)模型之间的角色相关，作者在训练X-BERT时坚持与BERT的参数分歧。

须要说明的是：在训练K-BERT时并不会添加KG。

<font color=red>由于KG会将相关的两个实体绑定在一同，从而训练时被掩码的两个词意思相近或相等，从而造成语义损失？？</font>KG是在接下游义务微调时或推理时添加的。

在开明域的8个中文NLP义务上对Google BERT和K-BERT做了比拟，结果如下表：

总结如下：

作者区分在金融、法律和医学畛域的NLP义务做了测试，见下表：

引入KG确实能带来成果的优化，尤其是医学畛域的优化比拟显著。

这一节作者关键对soft-position-index和visible matrix的成果启动了变量消弭钻研，结果如下图所示：

符号说明：

作者总结试验结果如下：

（1）消弭soft-position或visible matrix的任何一项，成果都不迭K-BERT； （2）在Law_Q&A义务中，没有visible matrix的K-BERT的成果比BERT还差，证实了KN(Knowledge noise)疑问的存在； （3）在Law_Q&A义务中，K-BERT的收敛速度比BERT快。

作者将KG中的常识注入句子中，经过soft-postion-index和visible matrix控制常识的可见范围。

试验怎样KG确实对常识驱动的专业畛域义务有协助。

另外由于K-BERT可以做到和BERT参数共享，因此免去了K-BERT的预训练。

改良方向： （1）查问常识时过滤掉一些不关键的常识； （2）将方法拓展到其它言语模型。

GraphRAG：常识图谱+大模型

大模型局限性

1、畛域消息无余

LLM基于地下数据集启动训练，因此缺乏畛域特定或专有消息，这或者造成在某些状况下无法提供更准确或片面的回答。

2、或者发生误导

虽然尽力提供消息，但在超出其范围的状况下，LLM或者给出不正确或虚拟的消息，由于它无法直接失掉新消息或与实时数据同步。

3、无法失掉实时消息

由于训练老本高，LLM无法实时降级常识库，因此或者无法提供最新消息或跟上极速变动的状况。

4、预训练数据无法更改

经常使用的预训练数据或者蕴含失误或过期消息，无法更正或删除，造成LLM基于不准确或过期数据回答疑问。

5、缺乏常年记忆

LLM没有常年记忆才干，无法处置复杂疑问或须要高低文了解的状况，体现或者不佳。

什么是Graph RAG

RAG（Retrieval Argumented Generation）经过结合检索技术和言语生成技术，增强生成环节，提供更准确、相关和多样化的消息以满足用户需求。

Graph RAG是一种基于常识图谱的检索增强技术，经过图模型展理想体和相关，应用大言语模型LLM启动检索增强。

Graph RAG将常识图谱视为超大规模词汇表，实体和相关作为单元启动联结建模。

经过提取用户疑问中的实体构建高低文子图，而后应用LLM生成答案。

传统检索增强技术的瓶颈

缺乏训练数据和文本了解无余是传统技术的关键疑问。

总结与图探求方法

图探求方法包括：基于向量、关键词、混合、原生向量索引、组合查问、常识图谱查问引擎和Graph RAG查问引擎。

这些方法各有优缺陷，顺应不同场景。

大模型相关资料

以下书籍和资源介绍有助于了解大模型和LLM：

参考资料：

北大关于常识图谱与图数据库的钻研上班

常识图谱与图数据库钻研概述常识图谱作为搜查引擎模式的改造，基于图的语义网络，示意实体与实体之间的相关。

其实质是成功从关键字婚配、内容婚配到消息推理、追溯模式的转变。

常识图谱相关畛域触及常识工程、人造言语处置、数据库、机器学习等。

常识工程关注常识库构建、基于规定的推理；人造言语处置则并重消息抽取、语义解析等；数据库钻研聚焦RDF数据库系统、数据集成、常识融合等；机器学习则关注常识图谱数据的常识示意。

常识图谱与图数据库在数据治理、存储治理、原生治理、与图数据库的相关等方面严密咨询。

图数据库作为常识图谱的底层技术，基于图模型建模实体（结点）与实体之间的相关（边），在对相关的操作上具备更高功能。

基于相关的存储治理驳回三元组启动常识图谱的存储，克制了相关型数据库少量JOIN操作的缺陷。

原生常识图谱存储治理则引入子图婚配，成功高并发。

图数据库的典型代表如Neo4j，它与RDF的区别在于边也具备属性，可以成功与RDF的相互转换。

机器学习与常识图谱的结合更多体如今常识示意学习上，运行宽泛在常识推理畛域。

常识示意学习经过面向常识图谱中的实体和相关启动示意学习，经常使用建模方法将实体映射至低维浓密向量空间，以启动计算和推理。

同时，常识图谱与图数据库在大数据模型下具备关键作用，包括图机器学习、图数据库、图计算系统、图开掘算法等方面的运行。

团队上班概览团队由北京大学王选计算机钻研所数据治理钻研室成员组成，自2011年开局专一于图数据库钻研。

团队提出基于子图婚配的方法成功RDF的查问，并在2013年至2017年间开发了gStore，提出了基于结构感知的图数据库索引和子图婚配查问优化切实。

团队基于图的生态链系统平台分为常识图谱构建、治理与运行三个步骤研发，处置数据转换、存储、治理及高效访问接口等疑问。

团队产品包括基于子图婚配的图数据查问和优化战略的gStore，常识图谱构建的一体化平台，以及基于子图婚配的常识图谱人造言语问答方法。

相关案例笼罩金融科技、政府大数据、智慧纪检、智慧医疗、人工默认、气候交通、公安常识图谱等多个畛域。

在金融科技中，常识图谱用于金融实体查问、多层股权查问、金融实体关联剖析与危险识别、资本系剖析。

在政府大数据中，基于人造人数据启动民政和司法的亲属相关检索。

在智慧纪检中，运行常识图谱启动干部廉洁画像、社会相关剖析、话单剖析。

在智慧医疗中，构建“病-症-药”的常识图谱，允许疾病科室、疾病症状、疾病并发症、肥壮饮食默认问答等运行。

在人工默认畛域，运行在默认问答等语音机器人中。

在气候交通中，实时采集气候消息并启动常识图谱婚配以成功预警。

在公安常识图谱中，多维度常识探求与隐含相关开掘。