什么是 作用及其使用教程 Robots.txt (什么是作用和作用效应)

本文目录导航：

• 什么是 Robots.txt？作用及其使用教程
• 网站robots文件的作用是什么？
• robots.txt是什么?

什么是 Robots.txt？作用及其使用教程

是一个由网站管理员或系统创建的文件，主要目的是向搜索引擎爬虫指示网站页面抓取的规则。

通过“allow”和“disallow”指令，文件告诉“user agents”（用户代理）哪些页面应该被访问，哪些不应被访问。

如果网站上传了 文件，搜索引擎爬虫就会根据文件指示抓取网页。

如果网站没有上传 文件，则爬虫会抓取所有未被口令保护的页面。

只是一个指示文件，相当于健身房、社区中心、服务中心等场所的标识语。

虽然自身没有执行规则的权力，但有素质的“顾客”会遵守规则，而无素质的“顾客”可能会违反规则。

主流搜索引擎如 Google、Bing、Yahoo、Baidu 等通常会遵守 的指示，但也有不遵守规则的爬虫存在。

文件的原理包括：在抓取互联网上的网页时，爬虫会先检查网站是否包含 文件，如果有则阅读文件规则，根据列出的规则进行抓取。

若网站有不想被抓取的页面，如会员页面、没有内容的分类页面或系统自动生成的无意义页面，可以将它们在文件中指定，让蜘蛛或爬虫避免抓取这些页面。

然而，主流搜索引擎通常会遵守规则，而某些专门收集信息的爬虫可能不会。

对 SEO 的作用主要体现在优化抓取预算和屏蔽重复、私密页面。

如果网站页面众多且超过了搜索引擎分配的预算，合理使用 可以阻止一些无用页面被爬取，节省抓取预算，确保重要页面被抓取并被索引，从而提高排名。

同时，屏蔽重复页面和私密页面可以优化资源分配，提高网站质量。

文件由一个或多个指令块组成，每个指令块以“user-agent”行开头，指示处理特定爬虫的身份。

指令“Disallow”用于阻止爬虫访问指定网页或一组网页，而“Allow”则允许访问特定页面。

指令“sitemap”用于指定网站的站点地图位置，以指示搜索引擎优先抓取和索引的页面。

指令“crawl-delay”则用于设置爬虫请求之间的延迟，以防止服务器过载。

常用的 规则包括用户代理、禁止访问和允许访问指令的组合。

规则结合实际网站需求编辑，理解指令意义后即可自定义 文件。

查看 文件可通过直接访问域名后添加“/”来实现。

创建文件可使用文本编辑器或专用工具，确保正确无误，避免语法错误。

提交文件需放置于域名或子域名的根目录文件夹中，并根据网站实际情况操作。

了解 文件后，大型网站可根据具体情况定制合适的文件，小网站或使用主流建站系统则可能无需额外编辑。

总的来说，理解网站实际情况并合理操作，可以有效避免潜在风险。

网站robots文件的作用是什么？

文件的作用：

1、屏蔽网站内的死链接。

2、屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面。

3、阻止搜索引擎索引网站隐私性的内容。

因此建立文件是很有必要的，网站中重复的内容、页面或者404信息过多，搜索引擎蜘蛛就会认为该网站价值较低，从而降低对该网站的“印象分”，这就是我们经常听到的“降低权重”，这样网站的排名就不好了。

文件需要注意的最大问题是：必须放置在一个站点的根目录下，而且文件名必须全部小写。

文件的基本语法只有两条，第一条是：User-agent，即搜索引擎蜘蛛的名称；第二条是：Disallow，即要拦截的部分。

下面我们看一下撰写基本的文件所需要知道的一些语法和作用。

（1），允许所有的搜索引擎访问网站的所有部分或者建立一个空白的文本文档，命名为。

User-agent:*Disallow:或者User-agent:*Allow:/

（2），禁止所有搜索引擎访问网站的所有部分。

User-agent:*Disallow:/

（3），禁止网络索引你的网站。

User-agent:BaiduspiderDisallow:/

（4），禁止Google索引你的网站。

User-agent:GooglebotDisallow:/

（5），禁止除网络以外的一切搜索引擎索引你的网站。

User-agent:BaiduspiderDisallow:User-agent:*Disallow:/

（6），禁止除Google以外的一切搜索引擎索引你的网站。

User-agent:GooglebotDisallow:User-agent:*Disallow:/

（7），禁止和允许搜索引擎访问某个目录，如：禁止访问admin目录；允许访问images目录。

User-agent:*Disallow:/admin/Allow:/images/

（8），禁止和允许搜索引擎访问某个后缀，如：禁止访问admin目录下所有php文件；允许访问asp文件。

User-agent:*Disallow:/admin/*$Allow:/admin/*$

（9），禁止索引网站中所有的动态页面（这里限制的是有“？”的域名，如?id=8）。

User-agent:*Disallow:/*?*

robots.txt是什么?

是网站根目录下的一份文本文件，它旨在指导搜索引擎蜘蛛，哪些页面可以访问，哪些不能。

通过此文件，网站管理员能定义禁止搜索引擎爬虫访问的页面，亦能限制爬虫访问频率。

此文件依据机器人排除协议（Robot Exclusion Protocol）或称为robots协议来操作。

内容通常包含几个核心元素。

重要的是，虽然文件提供指引，但并非强制执行规则。

不法的网络爬虫或恶意软件可能无视此文件规定，因此，敏感信息应避免存于禁止访问页面。