1.网站和页面的权重。

这绝对是第一要务。权重高，资历老，权威大的蜘蛛肯定是特殊对待的。这类网站的抓取频率非常高。而且我们都知道，搜索引擎蜘蛛并不是为了保证高效率而抓取网站的所有页面。网站的权重越高，抓取深度就会越高，相应的可以抓取的页面数量也会增加，从而可以包含的页面数量也会增加。

2.网站服务器。

网站服务器是网站的基石。如果网站服务器长时间打不开，就相当于你闭门不出，蜘蛛想来就来不了。百度蜘蛛也是网站的访客。如果你的服务器不稳定或者有卡比较，蜘蛛很难每次都爬，有时候只能爬一个页面的一部分。久而久之，百度蜘蛛的体验越来越差，在你网站上的评分也会越来越低，自然会影响你网站的抓取。所以你一定要愿意选择空没有好基础的服务器，不管房子有多好。

3.网站更新频率。

蜘蛛每次爬行都会把页面数据存储起来。如果第二次爬行发现页面与第一次收录的完全一样，说明页面没有更新，蜘蛛也就没有必要经常抓取了。页面内容经常更新，蜘蛛就会更加频繁的访问页面，但是蜘蛛不是你一个人的，不可能就在这蹲着等你更新，所以我们要主动向蜘蛛示好，有规律的进行文章更新，这样蜘蛛就会根据你的规律有效的过来抓取，不仅让你的更新文章能更快的抓取到，而且也不会造成蜘蛛经常性的白跑一趟。

                                      蜘蛛每次爬行时都会存储页面数据。如果第二次抓取发现页面和第一次一模一样，说明页面没有更新，蜘蛛不需要频繁抓取。页面内容更新频繁，蜘蛛会更频繁的访问页面，但是蜘蛛不是你自己的，不能蹲在这里等你更新。所以要主动对蜘蛛表示善意，定期更新文章，让蜘蛛按照你的规则来有效的爬，这样不仅能让你更新的文章爬的更快，还能防止蜘蛛频繁的白跑。

4.文章的独创性。

高质量原创内容对百度蜘蛛的诱惑力非常大。蜘蛛存在的目的是为了发现新的东西，所以不要每天收集或转载网站上更新的文章。我们需要给蜘蛛真正有价值的原创内容。如果蜘蛛能得到自己喜欢的东西，自然会对你的网站产生好感，经常来这里觅食。

5.平面网站结构。

蜘蛛爬行也有自己的路线。在此之前，你要为他铺路。网站结构不要太复杂，链接层次不要太深。如果链接层次太深，后面的页面很难被蜘蛛抓取。

6.网站程序。

在网站程序中，有许多程序可以创建大量的重复页面。这个页面一般是通过参数实现的。当一个页面对应多个URL时，会造成网站内容重复，可能导致网站降级，严重影响蜘蛛的爬行。因此，程序必须确保一个页面只有一个URL。如果已经生成，尝试通过301重定向、Canonical tag或robots处理，确保蜘蛛只抓取一个标准URL。 (责任编辑：admin)