蜘蛛收录不存在的tag列表页,使用robots如何解决 推荐热议
2019-04-23 16:30:15 浏览量:424
织梦程序,标签URL结构是:www.seowhy.com/tags.php?/关键词/
但是如果该关键词下文章较多,会分词目录页,其URL结构如下:www.seowhy.com/tags.php?/关键词/-3/
其中关键词后面的-3中的数字3是标签列表页的页码。问题是我网站有的tag没有这么多分类页面,之前google蜘蛛都爬到/-100025/十万多了。
如果用robots禁止,怎么写?下面写的对么,很纠结。Disallow:/tags.php?/星号/星号/
如果robots不可以,下面是目录页页码代码,怎么处理呢?