是否应该屏蔽蜘蛛抓取JS和CSS文件
2019-03-22 14:00:14 浏览量：361
很多网站在查看日志的时候，
会发现JS、CSS文件被蜘蛛抓取的频率特别高，
于是有人便考虑在robots.txt屏蔽蜘蛛抓取js和css文件，
节省蜘蛛时间给其他页面。
国平老师认为，屏蔽了这种文件不会对网站有不利影响，相反可以促进其他页面的收录；
但同时很多人认为屏蔽了这两个文件容易被搜索引擎判断为网站作弊。
元芳们，你们怎么看？
13人参与回答
-
搜索引擎能抓取的页面量~远远大于我们的网站数据量,抓不抓 css JS 影响没多大97 2019-03-22 14:00:18
-
陈福山 持续创业者现在搜索引擎已经可以辨别 JS CSS文件，平不屏蔽无关紧要了。 只要你的网站压力不要限制，服务器不是太差。 跟你屏不屏蔽，没关系啊 我的网站检测JS N个 收录照常，快照照常 更新84 2019-03-22 14:00:18
-
胡小易 SEO经验3年这要看网页数量，如果网页数量小到足够被任何蜘蛛任意抓取，那么就没这个必要。 反之，如果网页数量大到蜘蛛抓取不了，那么就需要Nofollow掉，Robots掉一些东西22 2019-03-22 14:00:18
-
陈超 韩连生物seo负责人，专注医疗行业，擅长站内优化。个人认为： 1、未来css文件会成为搜索引擎判断一个页面的参考因素； 2、也许现在搜索引擎已经能够简单的利用css文件理解页面结构了。95 2019-03-22 14:00:18
-
小龙 游周边旅游网SEO经理，SEO经验4年，喜好研究seo细节假设这句话成立：“蜘蛛抓取一个网站的时间是一定的，限制了某文件被抓取，则它又更多时间去抓取别的网页” 对于大型网站来讲，屏蔽CSS和JS文件，还是有必要的。 对于中小型网站来讲，完全没有必要。99 2019-03-22 14:00:18
-
吴星 SEO从业者，正在让自己忘记SEOJS, css是在网页头部里设置 Cache-Control，不需要在Robots.txt里添加。1 2019-03-22 14:00:18
-
刘文作 文艺极客QQ群 255363059你先尝试屏蔽一部分，看看网站的整体情况和日志分析。 不过我建议等百度12月份调整结束了再试。76 2019-03-22 14:00:18
-
虞冰焱 火哥-SEO经理,研究竞价实战,想法很多实现没有.屏蔽页面,对于搜索引擎来说是非常正常的事情,不然也不会出现Robots.txt这样的用户制定抓取规则的存在94 2019-03-22 14:00:18
-
汪周围 adSage SEO经理就以往的操作过程而言，我个人没有屏蔽过JS和css文件。 关乎网站性能方面，只是建议将js和css分别整合，css放置在头部，js放在尾部，防止网站载入的时候出现错乱和阻塞。 目前好像没有哪个方面的资料说一定要屏蔽js和css。 大概来讲，遵循两点就可以了： 1：css文件整合，并通过压缩减小其体积，并放置在头部； 2：js文件整合，并通过压缩减小其体积，放置在尾部； 其他代码区域尽量不要出现单独的css和js代码就是比较符合标准的了。13 2019-03-22 14:00:18
-
冯涵 【之首】凡所答，对正规手法操作的企业站比较应验。经过试验和跟踪数据表明： 1>被屏蔽掉的JS/css文件依然会被baidu和google大量crawl 2>屏蔽后跟踪观察其他page type 蜘蛛crawl量，发现并未增加 3>如果网站大部分js/css文件里包含较多URL可以不屏蔽，蜘蛛爬取js/css文件的同时可以爬取里面的link 4>如果网站大部分js/css文件里基本上都是代码之类的，屏蔽也可，没发现明显的好处也没发现坏处87 2019-03-22 14:00:18
-
王丹 3年医疗行业SEO优化！准备今年转到教育或B2C行业！我是屏蔽了 还有夫唯老师发现你回答好多问题都很“谨慎” 你回答时候可以加上一些你自己或者你朋友正常的操作方法啊 我记得以前听夫唯老师上课说是要屏蔽的45 2019-03-22 14:00:18
-
张立博 搜问69号会员 电子商务从业者我觉得没必要屏蔽，因为搜索引擎会知道哪些是JS、CSS，哪些是网页文件。抓取js和css的蜘蛛应该不会影响网页的抓取频率。 至于搜索引擎抓取js和css，可能跟快照有关，因为现在网站的页面大多是用div+css来建设的，如果没有css的页面会惨不忍睹的。 所以不排除搜索引擎在试图解释JS和CSS文件，来丰富网页的内容，让搜索更精确。 让搜索结果更准确，这个是个人猜测，也许反而是真正的原因。28 2019-03-22 14:00:18
-
夫唯 搜外网创始人，专注SEO和小程序以下这个说法值得商榷下： “蜘蛛抓取一个网站的时间是一定的，限制了某文件被抓取，则它又更多时间去抓取别的网页” 如果不成立，则完全没必要屏蔽CSS和JS了。 如果成立，那要屏蔽的就不止CSS和JS了，很多没实质意义的文件都值得屏蔽。 所以，以上那个论点，值得更多探讨下。98 2019-03-22 14:00:18
