关于蜘蛛抓取及反馈问题
2019-04-23 18:00:09 浏览量：1190
1.接手的网站是新改版的，之前有些内容是历史遗留下来的已经收录现在是404页面。我的处理方法是提交死链接给百度站长删除，还有就是将旧网站死链接的栏目进行了robots处理。
2. 查看蜘蛛日志反馈的是robots.txt是404 。并且都是宜搜蜘蛛，抓取的全部是旧网站的目录反馈全部是404. 百度抓取是200正常。
想问下宜搜蜘蛛是不是应该屏蔽掉，宜搜抓取的旧网站的目录是不是也该robots掉。
不明白的是为什么收录快照都是正常，robots是404. 自己robots可以正常打开的啊
3.今天收到百度站长平台的提示： 网站重要目录对百度进行封禁是什么意思？
