百度站长工具外链分析（6）（firefox）专题内容

知识 产品 资讯 职场 资源五大版块

中国最专业的SEM学习交流社区

【本文主要内容】

（1）检查是否存在黑链接——从日志分析，百度蜘蛛爬取了网站哪些非预期页面以及是否存在黑链接。 （这个可能需要先卖完，因为是个大工程，本期会提到一些）

(2)百度站长工具外部链接分析——检查是否存在垃圾外部链接、黑色链接等，以及链接指向网站中的哪个位置，以及如何处理。 （本期也有介绍）

（3）百度站长工具链接分析——三种死链接（内部死链接、传出链接、传入死链接）、批量下载数据、合并数据、excel操作、逻辑分类、定位问题、处理问题。 （没有足够的材料进行定位加工，因为很多已经加工了，没有材料==）

（4）通过分析这些数据得到的与SEO效果相关的其他信息（垃圾搜索引擎和垃圾外链造成的无用爬行，资源配额的浪费，如何拒绝。）

（5）如何利用shell脚本自动定位百度蜘蛛爬取的死链接，进行审核，然后自动提交判定为死链接的网址。 （本期内容过多，请预留下一期）

（6）分析工具介绍（firefox设置、插件、excel、windows命令提示符批处理）

【你可以学到的新姿势】

（1）在百度站长工具中批量下载表格数据（学习用它可以从其他网站下载一些东西，只要你喜欢。比如5118什么的，5118的站长会打我吗？）

（2）合并一些常见的文档，如txt、csv等文本，方便数据分析处理。

(3)分析死链数据和定位问题的一些基本思路

【本文主要使用的工具】

（只是结合例子，如果还有其他类似功能的工具，请根据自己的习惯使用）

浏览器] Firefox浏览器，版本无关

【插件】：启动剪贴板

功能：一键打开剪贴板中已有的URL。 （注意，URL只能有英文数字标点符号，如果有中文可能无法识别）。 快捷键：alt+shift+K（先复制单个或多个网址）

设置：打开选项设置，选择下载的文件自动保存的位置（我这里选择桌面，也可以单独创建一个文件夹，对批量下载的文件进行分类）

表格处理]：Microsoft Office 2013 Excel

文本处理]：Notepad++

【批处理】：Windows自带命令提示符

【开始讲解】

来百度站长工具链接分析。 我们看到有两个主要部分，死链接分析和外部链接分析。

1.我们可以先看外部链接分析。

分析外部链接数据的主要目的是识别垃圾外部链接，主动拦截垃圾外部链接可能对网站造成的负面影响。 最终目标：1、找到垃圾外链的域名，并进行防盗链处理（如果来源是垃圾域名，则直接返回404状态码）； 2. 处理站点内可能存在问题的页面。

这里我重点讲第一点； 第二点比较简单，我再粗略地解释一下。

1. 查找垃圾邮件域名。

注：可以看到这是一张明显异常的趋势图。

我们可以下载外部链接数据进行初步分析。

图例：下载的表格文件（csv 逗号分隔）

但这样的原始数据很难分析。 因此，我们需要按照一定的逻辑进行分析——即按照【链接网页URL】进行分类。

首先，我们可以快速浏览一下，做出直观的判断。 这些页面大部分是什么？

对于我们的网站来说，外部链接数据分为两类，正常外部链接和垃圾外部链接。

垃圾外部链接有两种类型：站内搜索结果页面（垃圾搜索词）和黑客植入的黑色链接（已被处理成死链接）。

我们进行数据处理的目的有两个：识别哪些是正常外部链接，哪些是垃圾外部链接，并根据垃圾外部链接的相关数据进行一些处理，以保护网站； 并且需要让垃圾链接指向的页面不被搜索引擎抓取（浪费抓取资源配额）并收录/索引（保证网站词汇不被污染，不给网站形象带来负面影响）和关键字）。

第一步，过滤掉网站的搜索结果页

图例：对数据进行过滤，复制到新的sheet中，并删除原sheet中过滤后的数据，对数据进行分类。

搜索链接格式也有多种类别，所有这些都以相同的方式处理。

然后对原始sheet中剩余的数据（空白行）进行去重，得到剩余的链接信息。

图例： 对剩余数据进行简单的去重处理。

然后，我们需要过滤黑色链接。 黑链接的数据一般需要先从网站日志中分析出来（这个是最全面的，为了保证效率，需要用shell脚本来自动运行，但是涉及的空间太大了，我将在以后的主题中解释。）。

当然，我们也可以将表中的【链接网页URL】一栏按照顺序进行排序，一一分析（自己打开）。同时，黑客会使用一些特殊的手段来阻止我们识别真实的链接网页地址。会被搜索引擎识别到，垃圾内容最常见的情况就是使用js跳转，这样当我们通过浏览器访问的时候，会看到完全不同的内容，而当搜索引擎抓取到的时候，我们会看到下载垃圾邮件内容。）

这时候我们就需要用到一个firefox插件【No Script】，它的目的是屏蔽网站上的js，看到类似搜索引擎的内容。

图例：阻止浏览器中 JavaScript 的插件

还有一种不靠谱的选择方法，就是在搜索引擎中搜索【网站：域名赌博】等关键词。 如果你搜索不符合网站期望的关键词，你会得到很多链接。 （这里需要使用一些方法来批量导出所有链接，我会在以后的主题中继续讲解）

我只能省略筛选过程。 大家可以结合视频来看看。

图例：被屏蔽的网站黑色链接

我们之所以要费尽心思寻找垃圾外链，就是为了记录这些垃圾外链的域名，防止这些垃圾域名被黑客重复利用，创建新的垃圾链接，以便第一时间拒绝。可能的。 这些垃圾外部链接会阻止百度蜘蛛在通过垃圾外部链接（即返回404状态码并被识别为死链接）访问我们网站上的内容时获取任何信息。 随着时间的推移，这些垃圾域名的权重将会增加。 越低（因为导出死链接，影响搜索引擎的正常爬行工作），这样既保护了自己，也惩罚了敌人。

具体方法是找出垃圾页面——从搜索结果页和黑链接两张表中整合外部链接页面。 如sheet3所示。

图例：合并垃圾外部链接页面

接下来的处理将使用一个小工具来快速获取这些链接的主域名。

图例：复制左侧红框中的链接，点击本地提取，就会出现在右侧红框中。

这样我们就获得了这些垃圾外链页面的主要域名。 我们只需要在我们的服务器上配置防盗链并禁止对这些域名的引用（源）访问（返回404 http状态码）。

2.从站点内部处理搜索结果页面（我将保留下一个主题的黑色链接处理，因为它需要大量的Linux shell脚本）：

在现场搜索权重比较高的网站时，一定要注意antispam（反垃圾邮件）。 如果不加以保护，一旦被黑客利用，大量的搜索页面就可能被百度抓取。 黑客会利用高权重网站的资源，对黄赌毒行业的关键词进行快速排名。 但这对我们的网站来说是一个噩梦般的打击。 如果不处理，可能会导致以下问题：大量的蜘蛛爬行配额被浪费在爬行垃圾页面上； 垃圾页面被搜索引擎收录，网站词汇被黑客污染，使得网站的行业词和品牌词排名不理想； 造成网站形象受损等。

在实施此类反垃圾邮件策略时，我们需要注意四个方面：网站内的用户可以正常使用； 不允许搜索引擎抓取此类页面； 拒绝访问垃圾邮件外部链接； 垃圾邮件关键字不得出现​​在页面上。

既然目标明确了，相应的应对方案就出来了，那就是：

A 限制来源并拒绝所有来自非站点来源的搜索。

B页上的TKD等关键位置不调用搜索词。

C 指定敏感词汇过滤规则，并将所有敏感词替换为星号*（需要满足一定的技术开发要求）

D 在robots.txt中声明不允许抓取

E 在页面源码的head部分添加meta robots信息，声明该页面不允许建立索引（noindex）

进行上述处理可以解决网站上大多数搜索页面容易出现的问题（不限于此类页面，甚至其他页面也可以这样处理，只要你不想让搜索引擎抓取和抓取）索引它们）。

2、我们再看一下死链接分析。

站长工具的死链接提交工具的帮助文档中已经对死链接进行了详细说明。 我将做一些补充。

死链接一般分为以下几类：内部死链接和外部死链接。

内部死链接是出现在我们网站上的死链接。 由于各种原因，百度蜘蛛无法获取内容，在抓取链接时被识别。 大多数情况下，对于我们来说，这种死链是可以通过某些方式避免的，所以是可控的。 同时，由于链接到死链接的页面都是我们网站上的页面，而链接出死链接的页面对于搜索引擎来说是非常不友好的，所以如果不及时处理的话，是非常不友好的。搜索引擎可能无法顺利处理它们。 爬取网站上有价值的页面会间接导致“部分降级”（爬取某些页面的周期越来越长、快照更新缓慢、排名无法提升等）。

内部死链接的问题比较严重，所以首先要处理内部死链接。

我们可以慢慢从百度站长工具中获取死链接数据，按照一定的逻辑方法进行组织和划分，定位问题。 接下来我就讲解一下死链接数据的分析。

通过预览页面上的死链接信息，每个人都可以做到，所以不需要我过多解释。 至于死链接的问题，不需要每天下载表格进行分析，只需要每天大致看一下数据，看看是否有突然出现的死链接，找到原因并进行处理。处理（通常是大面积发生，比较容易发现，也是必须的，紧急处理）； 其次，我们需要定期进行更彻底的死链接数据分析，看看是否存在我们平时没有注意到的死链接问题（一般情况下发生的范围较小，很难发现，但如果让它长期发展的话，就会产生很大的问题）。

注意：一般情况下，突然出现的大量死链接很容易被发现，也更容易确定原因。

注意：这是一个很早就发现的问题。 虽然提交了处理建议，但被程序员忽视，最近突然爆发。 因此，即使问题很小，也应该引起足够的重视（由于发生后及时处理，所以没有出现太严重的问题）

接下来简单说一下百度站长工具中批量下载死链接数据，并合并数据进行统一处理。

内部死链接（子域名A指向子域名A）和传出死链接（子域名A指向子域名BCD...）一般比较容易分析。 我们重点针对入站死链接（子域名BCD...指向子域名A）做一些批处理。

图例：可以以csv（逗号分隔）格式下载数据，可以使用excel轻松处理； 下面有官方帮助文档。

此时，您可以尝试点击【下载数据】，这样Firefox就会自动将文件下载到您设置的位置。

这里有一个小技巧给你。 您可以在下载列表中点击对应的文件，复制下载链接，然后粘贴出来。