求教，是我robots.txt写错了吗，为什么百度蜘蛛不断抓取我不想让他抓取的页面。
2019-04-23 11:30:13 浏览量：260
个人网站是www点drlmeng点com
8月份的时候站内被降权，首页权重还在
当时判断是因为论坛帖子质量较差导致的，所以屏蔽了百度蜘蛛的抓取，但是被禁止抓取的页面也一直在被蜘蛛爬取。
论坛页面当时试过禁止所有的蜘蛛抓取，谷歌很快生效了，但是百度的蜘蛛一直有在抓取，有时候百度搜索找不到论坛的页面，有时候又可以，让我非常抓狂，百度站长工具的索引量在规则设置后数量立刻减少，但又莫名其妙恢复了（看图片的最近几天的索引量，12月30号后我没再修改过robots文件。)
