谈谈百度蜘蛛抓取的原理！

一．为什么搜索引擎蜘蛛需要不停的抓取页面，需要不停的收集站长们的网站信息？
这是因为搜索引擎在互联网中它是起着为用户提供信息供给服务的媒介，但是它本身并不具备信息产生功

能，所以它才需要不断的在互联网上进行收集信息以供用户查阅，来达到它特有的互联网生存盈利模式。

站长们建设网站需要找寻用户，而同样的用户也需要通过搜索引擎来找到所需的网站，搜索引擎在其中不

过是起到一个中介的作用，并非是信息产生器，所以它必须不断的抓取互联网信息。

第二个问题：

二．蜘蛛是通过那些链接来抓取互联网信息？

有三种链接：

1.      url路径（站长们的域名）；

2.      锚文本；

3.      超链接；

在这里，笔者发现有相当数量的新手站长并不清楚url路径和超链接的区别，url代表仅仅是一个域名，它

在页面上的体现形式是不能直接通过点击跳转进入另外一个页面，而超链接则相反，众所周知，它是一个

链接，它是可以通过直接点击跳转进入另外一个页面，这便是url路径与超链接的区别。蜘蛛抓取页面时

首先会对各位站长的url路径进行收集，然后对其分类，在这里就得涉及到域名的特性，那什么是域名的

特性呢？没错，就是它的后缀，它分为.com,.cn,.org,.net等，搜索引擎会把网站里的链接收集起来带到

自己的服务器进行分析。

作为判断各位站长网站优秀与否最为直观的方式，便要看关键词排名了，而影响关键词的排名因素的，最

为重要的便是seoer耳熟能详的两点：

1.      内容

2.      外链

在这里咱们的第三个问题就出现了：

三．当搜索引擎分析一个网站时，是先判断内容呢，还是先判断外链？

答案是它会优先判断外链，搜索引擎蜘蛛会把你的所有外链全部下载到它的服务器里进行分析，然后以此

为依据逐个抓取，以判断这些外链是否相关，如果页面相关，那么从对方网站传递过来给你的网站的权重

就会很高。

四．为什么百度并未收录我网站的所有页面，只是收录我的页面的一部分呢？

蜘蛛是根据外链来抓取判断网站页面，它并不会爬行网站的所有页面。

五．为什么需要大量的**外部链接和链接诱饵？

因为这样的做的好处有两点：

1.      这样做可以大大的增加网站的权重。

2.      可以增加网站页面的收录机会，因为很多时候搜索引擎没有收录网站页面的情况都是在蜘蛛并非

记录内页路径的情况下，也许蜘蛛多来爬行几次你的网站，发现了此页面的路径，于是便被收录了呢！

搜索引擎以百度而言，它会把把抓取到的网站分为非常优秀，优秀，中等，差以及非常差五个等级，并以

此为依据分别对不同级别的网站进行不同次数的抓取，被搜索引擎视为优秀的网站自然蜘蛛来的次数也多

，而一些评分很低的网站蜘蛛则来的次数很少，甚至根本就不会光临。但是在这里可能会有一些朋友有一

点误区：他认为评分好的网站排名也高，其实这是不正确的，就像前面说的一样，评分的高低只是说明了

蜘蛛来抓取你网站的频率高低，而对关键词排名其决定性作用的不过是外部锚文本链接而已，外部锚文本

分布的广度和质量这才是对你关键词排名起着决定性作用的因素。

六．页面上的什么东西是蜘蛛不会抓取的呢？

蜘蛛抓取的原理：爬行你的网页，并下载源代码，然后回到自己的服务器上进行分析，这样一来作为百度

虽然庞大但毕竟并非无穷的数据库而言，容量太过庞大的数据蜘蛛是不会抓取的，比如说JS，视频，

MP3,flash以及框架。这些都是蜘蛛不会抓取的内容。

七．当蜘蛛抓取网站，优先抓取的是什么？

答案是robots，它是网站的协议，当蜘蛛访问你的网站时，它会优先的访问这个路径，而此路径的作用在

于告诉蜘蛛网站内什么东西是可以抓取的，什么东西是不能被抓取的，这是一个用户协议，倘若站长朋友

并非设置此文件，那么蜘蛛将会默认为在这个网站任何东西都是可以被抓取的。下面便是robots一些基本

的用法：

1.User-agent： *

Disallow： /sitemap/ （禁止蜘蛛抓取文本网页）

2.User-agent： *

Disallow： /admin/ （禁止蜘蛛抓取admin目录下所有文件）

3.User-agent： *

Disallow： .jpg$（防止盗链）

4.User-agent： *

Disallow： /（禁止二级域名的抓取）



版权申明：本站文章均来自网络，如有侵权，请联系QQ客服邮箱: liwokefu@126.com ，我们收到后立即删除，谢谢！
特别注意：本站所有转载文章言论不代表本站观点，本站所提供的摄影照片，插画，设计作品，文章，如需使用，请与原作者联系，版权归原作者所有。