360搜索采用匿名蜘蛛抓取网站，元芳你怎么看？
2019-03-20 17:06:08 浏览量：463
理论上每一个搜索引擎都有自己特定的蜘蛛，但是我发现360搜索虽然公布了自己的蜘蛛，但是实际上一直采用匿名蜘蛛的方式来抓取网站，你们怎么看？
另外，360曾经真的使用蜘蛛爬行过，后来改成匿名的了，看这里我曾经抓取过的360搜索蜘蛛的样子：http://liboSEO.com/1267.html
Tips.用搜索引擎搜索 http://ie.icoa.cn 在搜索结果里能看到蜘蛛的样子。
2人参与回答
-
冀军龙 SEO外包服务提供商，SEOWHY资深版主。我感觉楼上说的是一部分原因，另一部分原因是技术没有达到gg或百度那样的阶段，所以采用这种方式。2 2019-03-20 17:06:08
-
张家梁 欢迎参加搜外的SEO系统培训，报名QQ：800035397这个应该不是判断爬虫的方式吧？是检测浏览器内核的方式。原因是： 8月份，360低调推出「360搜索+」，取代掉之前的「综合搜索」，因为搜索质量高加之360浏览器巨大的流量引入，迅速占据了搜索引擎的市场。随后3B大战的一触即发，比较典型的动作是百度知道对360做拦截，提醒用户进行跳转。拦截的方式判断用户的UA字段，如果是360浏览器则进行拦截，360方面则通过修改 UA 字段来跳过百度的检测，防止被百度封杀掉。 这一点可以从百度统计流量研究院里面看到： http://tongji.baidu.com/data/browser 360浏览器8月份之前的份额与9月份之后的份额对比，是明显的下降，不是因为使用360浏览器的用户减少，而是百度识别不出来使用360浏览器的用户。40 2019-03-20 17:06:08
