避免蜘蛛陷阱：如何解决不利于搜索引擎抓取的技术问题

避免蜘蛛陷阱：不利于搜索引擎爬行和蜘蛛爬行的技术，蜘蛛陷阱。

1、整个网站首页是一个很大的flash文件，首页前放置一个flash动画标题，搜索引擎无法收录任何文字信息，无法判断相关性；

主页有 flash 简介。搜索引擎无法读取 flash，也无法从 flash 简介跟踪到 html 版本。

首页上的小flash和图片只是一小部分代码，所以对搜索引擎的抓取和收录没有影响；

SWFObject、sIFR技术可以使flash文件更容易被搜索引擎读取；

整个网站一定不能是一大堆flash，如果一定要有这种效果，至少要在flash文件外面的HTML代码里加上HTML版本的链接，搜索引擎才能顺着这个链接去抓取后续的HTML页面。

2、Session ID：每个访问网站的用户都会生成一个唯一的Session ID，并添加到URL中。蜘蛛每次访问都会被视为一个新用户，同一个页面每次访问的URL都是不一样的。这也是最常见的蜘蛛陷阱；

搜索引擎会判断该字符串是会话 ID 还是普通参数，如果判断出来会从 URL 中移除会话 ID。但是搜索引擎往往无法判断，或者不愿意索引它，因为索引多个会话 ID 不同但内容相同的 URL 会导致大量重复内容。

建议使用 cookies 来跟踪用户，而不生成会话 ID。或者，程序可以确定它是蜘蛛还是用户。如果是蜘蛛，则不要生成会话 ID。

3. 除了 301 重定向，搜索引擎对其他形式的重定向也非常敏感，例如 302 重定向、javascript 重定向、flash 重定向、meta refresh 重定向等。除非绝对必要，否则尽量不要使用 301 以外的重定向。

有些网站会在用户访问主页时自​​动将用户重定向到某个目录中的页面。如果有理由重定向到相应的目录页面，则没有问题。如果重定向没有明显的理由或目的，最好避免这样做。

301重定向是搜索引擎推荐的用于URL更改以转移页面权重的重定向。其他重定向不利于蜘蛛爬行，涉及SEO黑帽；

4、框架结构：如果你不知道什么是框架结构，那么你已经避开了蜘蛛陷阱。如果你的网站设计中仍然使用框架结构，那么你应该立即取消它。

它在网站早期很流行，因为方便更新和维护网站页面。但是它不利于搜索引擎抓取，只能抓取调用其他HTML文件的代码，不包含任何文本信息。蜘蛛经常跟踪其他HTML文件，经常会发现不完整的页面，比如只有文本而没有导航。

5、动态URL：由数据库驱动的网站生成的带有问号、等号和参数的URL。不利于蜘蛛爬行，应尽量避免；

6. 不要使用 javascript 来生成导航系统，这是严重的蜘蛛陷阱之一。（尝试解决，有难的，也有简单的，也有容易的）

有些搜索引擎可以获取JavaScript脚本中包含的链接，甚至执行并跟踪这些脚本，但是对于低权重的网站，搜索引擎认为没有必要，不会这么做。网站上的链接必须使用最简单的标准HTML，特别是导航系统。导航的视觉效果可以用CSS来做；

Javascript在SEO中有特殊的用途，对于你不想被索引的页面，你可以使用javascript来阻止蜘蛛爬行。

7.需要登录：需要登录后才可查看，请谨慎使用，蜘蛛无法注册。

8.强制使用cookies。如果用户的浏览器没有启用cookies，页面将无法正常显示。蜘蛛相当于一个禁用了cookies的浏览器；