百度爬虫会爬取网站内容吗 服务器上通过设置不同的端口来访问不同的项目 如果不是http默认的端口80 (百度爬虫爬取)

本文目录导航：

• 服务器上通过设置不同的端口来访问不同的项目，如果不是http默认的端口80，百度爬虫会爬取网站内容吗？
• 搜索引擎如何对web网页分类？
• 搜索引擎的工作原理是什么及发展历史

服务器上通过设置不同的端口来访问不同的项目，如果不是http默认的端口80，百度爬虫会爬取网站内容吗？

通用搜索引擎（Search Engine）工作原理

通用网络爬虫从互联网中搜集网页，采集信息，这些网页信息用于为搜索引擎建立索引从而提供支持，它决定着整个引擎系统的内容是否丰富，信息是否即时，因此其性能的优劣直接影响着搜索引擎的效果。

第一步：抓取网页

搜索引擎网络爬虫的基本工作流程如下：

针对这些情况，聚焦爬虫技术得以广泛使用。

搜索引擎如何对web网页分类？

搜索引擎如何对web网页分类？这就需要提及搜索引擎的工作原理，蜘蛛爬行，处理数据，建立索引，根据用户检索相应的关键词放出相关性高的网页。

随着互联网的发展，网站的数量很庞大，如何让网民能获得更好的搜索体验，搜索出来的结果更能符合自身的需求，这就是搜索引擎的工作原理的目的，满足用户需求，通过以下几步。

第一步，蜘蛛抓取网页，存放数据库；

蜘蛛爬行是通过链接抓取根据其深度优先/广度优先策略收集网页信息，抓取的内容包含链接、图片（alt属性）、文字等，对于蜘蛛爬行不能识别的如图片，我们要做alt属性（文字说明），便于蜘蛛识别。

因为蜘蛛是机器不是人类，网页中的东西不能被识别，因此我们要注意尽量不要使用，如用flash搭建网页（蜘蛛不能识别flash，这个不便于优化）。

影响蜘蛛抓取的因素有：链接/不识别的内容/需要权限/网页打不开（服务器不稳定、404死链、网站被黑）

优化建议：1，注册域名尽量不要包含中文；2，网页中页面尽可能用静态网址，动态网页链接过长；3，网页中出现蜘蛛不能识别的图片，要做alt标签；4、时常关注网站能否正常打开以及安全情况。

第二步，开启检索，质量高的进入索引；

将收集到的网页放入临时的数据库，对收集网页信息进行检索，符合规则的进入索引区，不符合规则的就会被清理。

质量高的页面有索引，就可以被搜索到，有收录。

优化建议：1、网站内容要具有相关性，要符合自己建设的主题；2、网站TDK要有，标题、描述、关键词；3、网站框架要友好。

第三步，外部投票，内部优化，影响排名展现；

搜索引擎的工作原理是什么及发展历史

搜索引擎（Search Engine）是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。

搜索引擎包括全文索引、目录索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、门户搜索引擎与免费链接列表等。

第一代：分类目录时代（人工时代）不知道大家时候在自己的搜索引擎首页是否有设置过导航网站这个网址作为自己的首页呢？其实这个网址就是搜索引擎第一代的代表。

我们可以从这个导航网站这个网站里面看到，里面几乎都是一些分类网址，几乎在互联网上的，这个网站里面都一应俱全，从这里我们可以看出，这个网站是一个导航网站，也可以说分类目录网站，用户可以从这个分类目录里找到自己想要的东西，这就是搜索引擎第一代。

2第二代：文本检索时代（海量自动获取与排序清单）到了这一代，搜索引擎查询信息的方法则是通过用户所输入的查询信息提交给服务器，服务器通过查阅，返回给用户一些相关程度高的信息。

这代的搜索引擎的信息检索模型主要包括例如布尔模型、概率模型或者向量空间模型。

通过这些模型来计算用户输入的查询信息是否与网页内容相关程度高低，将相关度高的则返回给用户。

采取这种模式的搜索引擎主要是一些早期的搜索引擎，例如像Alta Vista、Excite等等。

这就是搜索引擎第二代。

3第三代：整合分析时代（立体搜索与结果整合）这一代的搜索引擎所使用的方法大概是和我们今天的网站的外部链接形式基本相同，在当时，外部链接代表的是一种推荐的含义，通过每个网站的推荐链接的数量来判断一个网站的流行性和重要性。

然后搜索引擎再结合网页内容的重要性来和相似程度来改善用户搜索的信息质量。

这种模式的首先使用者是google，google不仅为首次使用并且大获成功，这一成就在当时引起了学术界和其他商业搜索引擎的极度关注。

后来，学术界以此成就为基础，提出了更多的改进的链接分析算法。

大多数的主流搜索引擎都在使用分析链接技术算法。

这就是第三代搜索引擎将用户输入关键字，反馈回来的海量信息，智能整合成一个门户网站式的界面，让用户感觉每个关键字，都是一个完整的信息世界。

而不是第二代一样返回一个清单，整个清单夹杂着大量用户不关心、且没有分类的链接。

第三代搜索引擎的典型特征就是：智慧整合第二代返回的信息为立体的界面。

让用户能轻易地一眼进入到最相关的分类区域去获取信息。

4第四代：用户中心时代（以移动互联网为标志的个人需求精准搜索）第四代，也就是我们所用的搜索引擎技术也是互联网上面用的最普遍的。

主要是以用户为中心。

当客户输入查询的请求时候，同一个查询的请求关键词在用户的背后可能是不同查询要求。

例如用户输入的是“苹果”，那么作为一个想要购买iPhone的用户和一个果农来说，那么要求就是大大的不一样。

甚至是同一个用户，所查询的关键词一样，也会因为所在的时间和所在的场合不同而返回的结果不同的所有主流搜索引擎，都在致力于解决同一个问题：怎样才能从用户所输入的一个简短的关键词来判断用户的真正查询请求。

这一代搜索引擎主要是以用户为中心。

这就是第四代搜索引擎。