百度网站管理员“抓取分析”未能成功,寻求网站访问正常性的解决方案
频繁出现抓取失败,这会干扰网站的收录情况
首先点击查看“抓取分析”失败的具体原因,然后进行相应的调整
通常抓取失败的原因有以下几点:
1.301或302重定向配置不当
301重定向表示当百度蜘蛛访问链接时发生跳转,若跳转后的链接过长或连续跳转次数超过5次,便会产生重定向错误,进而导致抓取失败。
2.网站访问速度问题
本地测试显示正常,但抓取分析却持续显示“抓取中”,无任何反馈。这是由于服务器线路不同,百度蜘蛛抓取速度可能存在延迟,导致明明可以正常访问,却出现抓取失败的情况。一般遇到这种情况需要定期检测服务器各地访问速度,优化网站的打开访问速度。
3.robots.txt限制
在抓取分析工具中,如果显示抓取失败,请确认你是否对该网站设置了robots.txt限制,阻止百度蜘蛛抓取网站的某些内容。如果你未使用robots.txt文件屏蔽百度,请点击旁边的报错链接,百度会立即更新你网站的robots信息;如果是你的误操作导致了robots.txt限制,请及时修改robots文件,避免影响网站在百度的收录量。
4.DNS错误问题
DNS错误是指由于服务器停止运行或DNS到你网域的路由存在问题,导致百度蜘蛛无法与DNS服务器通信。这需要联系DNS供应商进行处理。
5.404错误
一般情况下,当百度蜘蛛访问到不存在的网页(因为你删除或重命名了网页且没有将旧网址重定向到新网页,或者链接中存在拼写错误)时,就会出现“未找到”状态错误(通常是404 HTTP状态代码),404错误也会导致抓取失败。
如何处理误封Robots
【处理方法】:
1.将Robots限制修改为允许,然后到百度网站管理员后台检测并更新Robots。
2.在百度网站管理员后台进行抓取检测,此时显示抓取失败,没关系,多点击抓取几次,触发蜘蛛抓取站点。
3.在百度网站管理员后台申请提高抓取频次。
4.通过百度反馈中心,反馈误操作导致这种情况的发生。
5.在百度网站管理员后台链接提交处,设置数据主动推送(实时)。
6.更新sitemap网站地图,重新提交百度,每天手工提交一次。
完成以上步骤后,接下来就是等待。2天后数据开始逐渐回升,到第3天基本恢复到正常状态。