Robots.txt文件正常放于根目录下，包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL,orNL作为结束符），每一条记录的格式如下所示：

"<field>:<optionalspace><value><optionalspace>"

Robots.txt文件用法举例说明如下：

robots.jpg

robots1.jpg

与本文相关文章

  1. 站点切换HTTPS常见问题解析 (973 次阅读)
  2. 新站建设中需要注意哪些细节（二） (603 次阅读)
  3. 新站建设中需要注意哪些细节（一） (810 次阅读)
  4. 搜索资源平台消息订阅使用说明 (803 次阅读)
  5. 搜索资源平台用户管理是什么 (590 次阅读)
  6. 网站使用CDN加速有哪些好处 (775 次阅读)
  7. 网站被镜像该如何维权 (821 次阅读)
  8. 搜索视频服务优质视频内容要求 (951 次阅读)
  9. 如何降低网站域名被泛解析的风险 (862 次阅读)
  10. 如何查看网站是否被黑？自查网站被黑的方法 (566 次阅读)

文章类别

意见反馈
联系电话：
1585150508*
QQ交谈：
小编
站长微信：
站长邮箱： service@qingjiuzhubei.com