百度蜘蛛抓取耗时长解决方法

百度蜘蛛为什么有的抓取耗时长，有的耗时短，这些抓取耗时数据又代表了什么呢？

那么我们先来了解什么是百度蜘蛛抓取频次和抓取耗时：

1、抓取时间数据：

展示百度spider每次抓取网站的耗时，根据该数据站长可以了解spider抓取网站的时长，抓取耗时越短代表网站在访问速度方面的用户体验越好。

注意：抓取耗时数据的更新频次与抓取频次有关，抓取频次较高的站点数据更新相对较快。

2、抓取状态统计数据：

四类抓取状态码统计：第一类：重定向（301, 302等）；第二类、未找到（404）；第三类、服务器无响应（501,502等）；第四类：服务器连接超时。有助于站长更好的了解网站在spider中的抓取状态，更好的管理网站。

注意：这里统计的是Baiduspider每次抓取行为的状态，与网站中该状态页面实际数量不能等同看待。

3、抓取频次工具的响应速度:

使用抓取频次工具调整抓取次数之后的生效时间。

Baiduspider抓取耗时非常长一般凸显以下这几点：

1、快照时常不更新

2、网站收录少

3、网站关键词排名低

4、而造成这种抓取耗时的原因，分为以下几种：

5、网站是新站，这类情况的话，抓取耗时长是正常的，有些新站一个月才被百度收录。

6、蜘蛛爬过站点，但是没有抓取带走站点数据，页面。这类情况，可以查看网站日志根据蜘蛛反馈的状态码查询原由。

7、站点充斥了太多富媒体文件，而且网站信息原创度不高，这类会导致蜘蛛对站点失去兴趣，从而不在抓取站点。

解决方法：

1、提高站点原创度，网站更新频率稳定。

2、主关键词，副关键词分布合理。切勿堆砌关键词

3、查看网站日志，根据所反馈状态码，作出相应的解决方法。

百度蜘蛛反馈码一般分为以下几种：

1、200 0 0 成功访问该页面,0代表抓取成功并带回数据库。这个时候你就放心了,这个页面已经被bd收录,但是还没有释放出来,bd更新时就可能释放出来。

2、200 0 64 访问了该页面,但并没有任何抓取也没有带回数据库。这种原因多为空间不稳定、服务器不稳定。

3、304 0 0这个返回码代表蜘蛛访问的页面没有更新,和他之前来的时候是一样的,所以看到这个不要担心,蜘蛛来过,只不过你没有更新,所以他也不愿意带走这个页面。

4、404 0 0这个是代表404页面,但是有个很严重的问题,这个返回码告诉我们,蜘蛛来到了404页面并把他带走了。

(资源库 www.zyku.net)