大型言语模型的语义搜查 主要词搜查 一 Search keyword (大型言语模型图片)

本文目录导航：

• 大型言语模型的语义搜查(一)：主要词搜查(keyword Search)
• 大陆的搜查引擎都有哪些？费事说全一点。
• 什么是语义搜查引擎？

大型言语模型的语义搜查(一)：主要词搜查(keyword Search)

主要词搜查(Keyword Search)是消息搜查中的基础技术，宽泛运行于各类运行，如Spotify、YouTube和Google地图等。

其外围算法是Okapi BM25，此算法基于概率检索框架，用于评价文档与搜查查问的相关性。

Okapi BM25在消息检索中被搜查引擎用于排序，提高搜查结果的精准度。

为了展示如何经常使用Cohere的API调用BM25算法搜查维基百科数据库，首先须要性能Python环境。

这里须要装置cohere和weaviate-client包，导入cohere和weaviate的API_key，进而创立weaviate client来衔接在线数据库。

咱们所经常使用的在线数据库是一个蕴含1000万条自维基百科数据记载的公共数据库，每条记载代表一段维基百科文章，涵盖了10种不同言语，包括但不限于英语、德语、法语、西班牙语、意大利语、日语、阿拉伯语、中文、韩语和印地语。

在口头查问时，可以设置不同的言语。

在成功主要词搜查性能时，咱们将经常使用API KEY性能参数来确保与Cohere和Weaviate服务的衔接。

关于COHERE_API_KEY，须要在Cohere网站上注册账号并创立API Key；而WEAVIATE_API_KEY和WEAVIATE_API_URL则经常使用地下示例中的API Key和URL。

主要词搜查的原理是经过比拟疑问和文档中重复词汇的数量，从而确定最相关的结果。

在搜查系统外部，主要词搜查分为检索和从新排名两个阶段。

第一阶段经常使用倒排索引和BM25算法对文档启动评分，第二阶段则对评分结果启动排序。

主要词检索存在局限性，尤其是在语义相关性上。

当文档与疑问在语义上相关但未产生重复词汇时，主要词检索或者不可准确检索到相关文档。

为处置这一疑问，后续将讨论如何借助言语模型启动改良，以成功更精准的语义搜查。

本文引见了主要词搜查的基本概念、成功方法和局限性，并经过Cohere的API调用示例展现了如何搜查维基百科数据库。

主要词搜查是搜查引擎中的外围性能，经过始终提升算法，可以提高搜查效率和准确性。

大陆的搜查引擎都有哪些？费事说全一点。

必应 也就这些引擎了

什么是语义搜查引擎？

搜查引擎排名的基础之一，就是主要词与网页的相关性。

机器算法和人不一样的中央是人可以间接了解词的意思，文章的意思，机器和算法不能了解。

人看到苹果这两个字就知道指的是那个圆圆的，有水的挺好吃的物品，搜查引擎却不能从理性上了解。

但搜查引擎可以把握词之间的相关，这就牵扯到语义剖析。

两年前搜查引擎提升业界很热烈的议论过一阵潜在语义索引(Latent Semantic Indexing)。

由于期间比拟久，记得也不是很分明，大略引见一下。

所谓潜在语义索引指的是，怎么经过海量文献找出词汇之间的相关。

当两个词或一组词少量出如今同一个文档中时，这些词之间就可以被以为是语义相关。

举个例子，电脑和计算机这两个词在人们写文章时经常混用，这两个词在少量的网页中同时产生，搜查引擎就会以为这两个词是极为语义相关的。

要留意的是，潜在语义索引并不依赖于言语，所以SEO和搜查引擎提升只管一个是英语，一个是中文，但这两个词少量出如今相反的网页中，只管搜查引擎还不能知道搜查引擎提升或SEO指的是什么，然而却可以从语义上把”SEO”，”搜查引擎提升”，”search engine optimization”，”SEM”等词紧紧的连在一同。

再比如苹果和橘子这两个词，也是少量出如今相反文档中，不过严密度低于同义词。

搜查引擎有没有经常使用潜在语义索引，至今没有定论，由于搜查引擎既不抵赖也不否定。

但一个理想是2002年Google买下了领有潜在语义索引专利的一家公司Allied Semantic。

这种语义剖析技术可以给咱们在搜查引擎提升上一些揭示。

网站主题的构成理论逻辑和结构适当的网站都会分红不同的频道或栏目。

在不同的频道中议论有些区别但严密相关的话题，这些话题独特构成网站的主题。

搜查引擎在把整个网站的页面收录出来后，能够依据这些主题词之间的语义相关度判别出网站的主题。

网页内容写作从两年前开局，搜查引擎排名有一个现象，搜查某个主要词，排在靠前面的网页有时甚至并不含有所搜查的主要词，这很有或者是潜在语义索引在起作用。

比如搜查电脑，排在前面的网页有或者产生一篇只提到计算机却没提到电脑。

由于搜查引擎经过语义剖析知道这两个词是严密相关的。

还有一个要留意的是，在启动网页写作的时刻，不要局限于指标主要词，应该蕴含与主主要词语义相关相近的词汇，以允许主主要词。

这在搜查结果中也有表现，有的文章只管少量产生主主要词，但缺少其余撑持词汇，排名往往不好。