一 常识图谱基础 (图谱知识)

本文目录导航：

• 常识图谱基础（一）-什么是常识图谱
• 常识图谱技术的技术流程
• 常识图谱概念

常识图谱基础（一）-什么是常识图谱

笔者是一只曾经离任的AI产品经理，重要长于的方向是常识图谱与人造言语处置，写这些文章是为了总结演绎目前曾经搭建的常识体系，也在于科普。

如有不对，请斧正。

常识图谱在国际属于一个比拟新兴的概念，国际目前paper都比拟少，运行方重要集中在BAT这类手握海量数据的企业，这个概念是google在2012年提出的，过后重要是为了将传统的keyword-base搜查模型向基于语义的搜查更新。

常识图谱可以用来更好的查问复杂的关联消息，从语义层面了解用户用意，改良搜查品质。

团体以为，常识图谱最大的长处是在于对数据的形容才干十分弱小，各种机器学习算法只管在预测才干上很不错，然而在形容才干上十分弱，常识图谱刚好填补了这局部空缺。

常识图谱的定义十分多，我这里提供一局部我自己的了解： 1.常识图谱重要指标是用来形容实在环球中存在的各种实体和概念，以及他们之间的强相关，咱们用相关去形容两个实体之间的关联，例如姚明和火箭队之间的相关，他们的属性，咱们就用“属性--值对“来描写它的外在个性，比如说咱们的人物，他有年龄、身高、体重属性。

2.常识图谱可以经过人为构建与定义，去形容各种概念之间的弱相关，例如：“忘了订单号”和“找回订单号”之间的相关 常识库目前可以分为两种类型：Curated KBs 和 Extracted KBs Curated KBs：以yago2和freebase为代表，他们从维基百科和WordNet等常识库抽取了少量的实体及实体相关，可以把它了解城一种结构化的维基百科。

Extracted KBs：重要是以Open Information Extraction (Open IE), Never-Ending Language Learning (NELL)为代表，他们间接从上亿个网页中抽取实体相关三元组。

与freebase相比，这样失掉的实体常识更具备多样性，而它们的实体相关和实体更多的则是人造言语的方式，如“姚明出世于上海。

” 可以被示意为(“Yao Ming”, “was also born in”, “Shanghai”)。

间接从网页中抽取进去的常识，也会存在必定的噪声，其准确度低于Curated KBs。

a)“姚明出世于上海”b)“姚明是篮球静止员” c)“姚明是现任中国篮协主席” 以上就是一条条常识，把少量的常识会聚起来就成为了常识库（Knowledge Base）。

咱们可以从wikipedia，网络百科等百科全书失掉到少量的常识。

然而，这些百科全书的常识是由非结构化的人造言语组建而成的，这样的组织方式很适宜人们浏览但并不适宜计算机处置。

为了繁难计算机的处置和了解，咱们须要愈加方式化、繁复化的方式去示意常识，那就是三元组（triple）。

“姚明出世于中国上海” 可以用三元组示意为(Yao Ming, PlaceOfBirth, Shanghai)[1]。

这里咱们可以繁难的把三元组了解为(实体entity,实体相关relation,实体entity)。

假设咱们把实体看作是结点，把实体相关（包括属性，类别等等）看作是一条边，那么蕴含了少量三元组的常识库就成为了一个宏大的常识图。

有些时刻会将实体称为topic，如Justin Bieber。

实体相关也可分为两种，一种是属性property，一种是相关relation。

如下图所示，属性和相关的最大区别在于，属性所在的三元组对应的两个实体，经常是一个topic和一个字符串，如属性Type/Gender，对应的三元组（Justin Bieber, Type, Person），而相关所在的三元组所对应的两个实体，经常是两个topic。

如相关PlaceOfBrith，对应的三元组（Justin Bieber, PlaceOfBrith, London）。

（图中蓝色方块示意topic，橙色椭圆包括属性值，它们都属于常识库的实体；蓝色直线示意相关，橙色直线示意属性，它们都统称为常识库的实体相关，都可以用三元组描写实体和实体相关）这里只是繁难引见一下数据结构，常识表白这一块会在《常识图谱基础（二）-常识图谱的常识表白系统》中具体解说。

读者只需记住，freebase的基础常识表白方式：(实体)-[相关]-(实体)，(实体)-[相关]-(值)即可，参考图3，姚明和叶莉的相关。

经过常识图谱，不只可以将互联网的消息表白成更凑近人类认知环球的方式，而且提供了一种更好的组织、治理和应用海量消息的方式。

下图是笔者整顿的常识图谱无关的运行，接上去的一些文章笔者会对上方的运前启动剖析。

从图4上看，常识图谱的运行重要集中在搜查与介绍畛域，robot（客服机器人，公家助理）是问答系统，实质上也是搜查与介绍的加长。

或者是由于常识图谱这项技术（特指freebase）降生之初就是为了处置搜查疑问的。

常识存储这一块或者是企查查和启信宝这些企业发现经常使用图结构的数据比拟好荡涤加工。

在语义搜查这一块，常识图谱的搜查不同于惯例的搜查，惯例的搜查是依据keyword找到对应的网页汇合，而后经过page rank等算法去给网页汇合内的网页启动排名，而后展现给用户；基于常识图谱的搜查是在已有的图谱常识库中遍历常识，而后将查问到的常识前往给用户，理论假设门路正确，查问进去的常识只要1个或几个，相当精准。

问答系统这一块，系统雷同会首先在常识图谱的协助下对用户经常使用人造言语提出的疑问启动语义剖析和语法剖析，进而将其转化成结构化方式的查问语句，而后在常识图谱中查问答案。

常识图谱技术的技术流程

常识图谱技术的技术流程内容如下：

普通流程为：首先确定常识示意模型，而后依据数据起源选用不同的常识失掉手腕导入常识，接着综合应用常识推理、常识融合、常识开掘等技术对构建的常识图谱启动品质优化，最后依据场景需求设计不同的常识访问与出现方法，如语义搜查、问答交互、图谱可视化剖析等。

每一种数据源的常识化都须要综合各种不同的技术手腕。

例如，关于文本数据源，须要综合实体识别、实体链接、相关抽取、事情抽取等各种人造言语处置技术，成功从文本中抽取常识。

2.常识示意与Schema工程

常识示意是指用计算机符号形容和示意人脑中的常识，以允许机器模拟人的心智启动推理的方法与技术。

常识示意选择了图谱构建的产出指标，即常识图谱的语义形容框架（Description Framework）、Schema 与本体（Ontology）、常识替换语法（Syntax）、实体命名及ID体系。

3.常识抽取

常识抽取按义务可以分为概念抽取、实体识别、相关抽取、事情抽取和规定抽取等。

传统专家系统时代的常识重要依托专家手工录入，难以扩展规模。

4.常识融合

在构建常识图谱时，可以从第三方常识库产品或已有结构化数据中失掉常识输入。

例如，关联开明数据名目（Linked Open>常识图谱概念

常识图谱是一种翻新的常识存储方式，它似乎一个语义网络的可视化数据库，由有向边衔接的实体、属性和它们之间的相关构成。

每个节点代表一个实体，而边则代表实体之间的语义咨询，基本单位是“实体-相关-实体”的三元组结构。

它是建设在互联网基础上的智能网络，旨在将网页链接转变为概念链接，将扩散的网络消息整合为有深度的语义常识。

经过这种方式，常识图谱改造了消息检索方式，不只能搜查特定网页，还能经过推理找到相关概念，以图形化的方式出现经过智能处置的结构化常识，成功了真正意义上的语义检索。

本体，作为形容事实环球实质的形象框架，随着计算机迷信的开展，催生了语义本体的概念。

它在语义网的构建中，专一于对常识的深档次语义形容，经过对特定畛域的常识启动逻辑形象，明白了概念定义，规范了表白方式，并促成了畛域常识的共享与了解。