爬虫是什么意思python爬虫是什么 (爬虫是什么意思)

本文目录导航：

• 爬虫是什么意思python爬虫是什么
• 网络搜索引擎为什么又要叫爬虫?
• 爬虫是什么东西

爬虫是什么意思python爬虫是什么

关于爬虫是什么意思python，爬虫是什么这个很多人还不知道，今天来为大家解答以上的问题，现在让我们一起来看看吧！1、网络是搜索引擎，爬虫就是沿着网站的链接不断搜索，并下载到本地的机器人程序。

2、 搜索引擎在一定程度上会给网站造成负担。

3、 所以现在有很多网站都有反爬虫设置，把自己想要被搜索出的东西直接提供给爬虫，而不让爬虫去抢占带宽。

网络搜索引擎为什么又要叫爬虫?

简言之，爬虫可以帮助我们把网站上的信息快速提取并保存下来。

我们可以把互联网比作一张大网，而爬虫（即网络爬虫）便是在网上爬行的蜘蛛（Spider）。

把网上的节点比作一个个网页，爬虫爬到这个节点就相当于访问了该网页，就能把网页上的信息提取出来。

我们可以把节点间的连线比作网页与网页之间的链接关系，这样蜘蛛通过一个节点后，可以顺着节点连线继续爬行到达下一个节点，即通过一个网页继续获取后续的网页，这样整个网的节点便可以被蜘蛛全部爬行到，网页的数据就可以被抓取下来了。

通过上面的简单了解，你可能大致了解爬虫能够做什么了，但是一般要学一个东西，我们得知道学这个东西是来做什么的吧！另外，大家抢过的火车票、演唱会门票、茅台等等都可以利用爬虫来实现，所以说爬虫的用处十分强大，每个人都应该会一点爬虫！我们常见的爬虫有通用爬虫和聚焦爬虫。

时不时冒出一两个因为爬虫入狱的新闻，是不是爬虫是违法的呀，爬虫目前来说是灰色地带的东西，所以大家还是要区分好小人和君子，避免牢底坐穿！网上有很多关于爬虫的案件，就不一一截图，大家自己上网搜索吧。

有朋友说，“为什么我学个爬虫都被抓，我犯法了吗？” 这个目前还真的不好说，主要是什么，目前爬虫相关的就只有一个网站的robots协议，这个robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说是搜索引擎访问网站的时候要查看的第一个文件。

当一个搜索蜘蛛访问一个站点时，它首先会检查该站点根目录下是否存在，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

也就是说robots协议是针对于通用爬虫而言的，而聚焦爬虫（就是我们平常写的爬虫程序）则没有一个严格法律说禁止什么的，但也没有说允许，所以目前的爬虫就处在了一个灰色地带，这个robots协议也就仅仅起到了一个”防君子不防小人“的作用，而很多情况下是真的不好判定你到底是违法还是不违法的。

所以大家使用爬虫尽量不从事商业性的活动吧！好消息是，据说有关部门正在起草爬虫法，不久便会颁布，后续就可以按照这个标准来进行了。

获取网页的源代码后，接下来就是分析网页的源代码，从中提取我们想要的数据。

首先，最通用的方法便是采用正则表达式提取，这是一个万能的方法，但是在构造正则表达式时比较复杂且容易出错。

另外，由于网页的结构有一定的规则，所以还有一些根据网页节点属性、CSS 选择器或 XPath 来提取网页信息的库，如 BeautifulSoup4、pyquery、lxml 等。

使用这些库，我们可以高效快速地从中提取网页信息，如节点的属性、文本值等。

提取信息是爬虫非常重要的部分，它可以使杂乱的数据变得条理、清晰，以便我们后续处理和分析数据。

经过本节内容的讲解，大家肯定对爬虫有了基本了解，接下来让我们一起迈进学习爬虫的大门吧！相关阅读：20天学会Python爬虫系列文章

爬虫是什么东西

爬虫，脊椎动物。

或称爬行类、爬虫类，属于四足总纲的羊膜动物，是对蜥形纲及合弓纲除鸟类及哺乳类以外所有物种的通称，包括龟、蛇、蜥蜴、鳄及已绝灭的恐龙与似哺乳爬行动物等等。

现存的爬行动物包含四个目：

鳄目（Crocodilia）：包含鳄鱼、长吻鳄、短吻鳄、以及凯门鳄等23个种。

喙头蜥目（Sphenodontia）：包含生存于新西兰的喙头蜥，共2个种。

有鳞目（Squamata）：包含蜥蜴、蛇、以及蚓蜥，接近7900个种。

龟鳖目（Testudines）：包含海龟与陆龟，接近300个种。

现代的爬行动物栖息于每个大陆，除了南极洲以外，但它们主要分布于热带与副热带地区。

现存的爬行动物，体型最大的是咸水鳄，可达7米以上，最小的是侏儒壁虎（Jaraguasphaero），只有1.6厘米长。

除了少数的龟鳖目以外，所有的爬行动物都覆盖者鳞片。

骨骼系统

爬行动物的骨骼系统大多数由硬骨组成，骨骼的骨化程度高，很少保留软骨部分。

大部分的爬行动物缺乏次生颚，所以当它们进食时，无法同时呼吸。

鳄鱼已发展出骨质次生颚，使它们可在半隐没至水中时持续呼吸，并防止嘴中的猎物挣扎时，伤及脑部。

石龙子科也演化出骨质次生颚。