7.异常跳转:将网络请求重定向到另一个位置是跳转。异常跳跃指以下情况: 1)目前该页面无效(内容删除,死链等。),所以直接跳转到上一个目录或者首页。百度建议站长删除这个无效页面的词条超链接。 2)跳转到错误或无效的页面 注意:百度推荐使用301跳转协议设置长时间跳转到其他域名的情况,比如更改网站域名。 8.其他例外: 1)针对百度参考的异常:网页针对百度参考返回不同于正常内容的行为。 2)针对百度ua的异常:网页向百度UA返回与页面原始内容不同的行为。 3)JS跳转异常:网页加载了百度无法识别的JS跳转代码,使得用户通过搜索结果进入页面后跳转。 4)压力过大导致的偶发性封禁:百度会根据站点大小、访问量等信息自动设定合理的抓取压力。但在异常情况下,如压力控制异常,服务器会根据自身负载进行保护性意外禁止。在这种情况下,请在返回代码中返回503(意思是“服务不可用”),因此Baiduspider会在一段时间后再次尝试爬网此链接,如果网站已经闲置了空,则会成功爬网。 (责任编辑:admin) |