CCMO资讯团队 高文宁
Dan Sharp分享了一个案例,他所在的公司可以劫持谷歌官方搜索引擎优化(SEO)入门指南的排名。让我们看一下他们是如何操作的吧。
我想分享一个代理商最近的一个操作尝试,经操作,谷歌认为我们网站就是谷歌官方搜索引擎优化入门指南PDF的一个权威版本—并且把我们列到其“搜索引擎优化”目录下和数千个短语中。
我们在内部进行了测试,测试包括我们的SEO Spider(蜘蛛)软件和用户代理。这次特别的试验仅供娱乐,只是为了验证我们的发现,无意伤害他人,也不是为了赚钱谋取利益。目前,我们已经终止了试验并删除了相关内容。
背景
发现搜索引擎结果的一些奇怪现象后,我们事先和谷歌取得了联系。他们的SEO入门指南PDF在“SEO”和“谷歌SEO指导”等相关目录下,有些事情并不对劲……
@ JohnMu 你好,John,谷歌SEO入门指导并不在列表中或无法检索,该网址已被另一个网址取代。这一突出的问题是302s?Pic.twitter.com/i5M4VLFe9D
----- Dan Sharp(@screamingfrog)2016年11月7日
在搜索结果中,PDF入门指导出现在搜索结果列表里,也链接到其他上传PDF的各网址中,但是在谷歌自己的网站中却没有出现。所以,不知何原因,谷歌没有将自己的网页纳入列表中;反而是其他网站使用谷歌了相关内容。
以下是英国一些网站的排名情况。每一个网站都力图把其他搜索结果排挤出去,因为谷歌会根据搜索结果而改变所信任的权威版本。
我们决定调研一下为什么谷歌的网页检索不到,而其他网页却可以。我们注意到谷歌在搜索引擎优化入门指导中使用了302重定向功能,且集中在相互独立的域名中。
302重定向中,原始的URL在谷歌网页中可以检索到,但是目标URL在static.googleusercontent.com就检索不到。
然而这两种URL都没有检索到,并且都试图确认权威性,检索原始内容和URL。谷歌以前没有使用“noindex”,通过robots.txt没有拦截任何内容,其他内容可以检索,并且也没有和 canonicals、网页上的内容以及HTTP header内部有直接的冲突。
谷歌曾表明无论是302临时重定向还是301永久重定向,网页排名的结果都差不多,这其中真正起作用的是检索了什么样的URL,在搜索结果中又是什么样的URL。所以,理论上应该检索原始的URL和排名,但是这并不是重点。
因为每一种重定向都用相似的方法传递PageRank,Gary Illyes说301有助于规范化。
@ AndyNRodgers 重定向传送都是一样的,但是301有助于规范化@ JohnMu
---- GaryIllyes ᕕ(ᐛ )ᕗ (@methode) 2016年8月5日
我们从以前的实验中知道,相同的内容可能被劫持,但通常由更权威的网站取代。 Google的SEO入门指南有大约2,100个链接根域名指向原始URL,另外重定向目标有485个(HTTP/HTTPS相结合的协议),所以这是一个可见度很高的强大网页。
入门指导也在Google.com上,且享有极高的声誉。最终目标还是要占据独立的域名。
很明显,Screaming Frog 并没有像谷歌那么权威,但是由于以上提到的问题,不少名不见经传的网站已经提前代替了他们。
试验
我们打算进行一次短期的试验,只把谷歌SEO入门指导上传到我们的域名。然后我们就通过谷歌搜索控制台提交并被收录,随之放置不管。
一周以后,我们发现我们已经劫持了谷歌自己的排名(由于我们的权威性更高,以前所有黑客都没有做到这一点),因为谷歌的算法似乎相信我们就是他本身内容的一部分。我们的URL出现在info: 和 cache:命令查询结果中。
我们已经劫持了黑客,也劫持了谷歌。
虽然我们是英国的网址,但是在美国,我们的“搜索引擎优化”从50名开外,一跃成为第四,“SEO”也进入了前十名。
在PDF排名中,“谷歌SEO”,“谷歌SEO指导”,“www goolgle com ”以及谷歌其他的关键词都是可见的了。
在美国和英国其他的PDF排名中,我们可以看到他们对SEMrush的喜爱(以下专门截屏展示美国的结果)
并且,Sistrix还强调了我们有意制造,突然冒出来的这个“新的”关键词。
谷歌站长工具记录了接近800k展现量的PDF,尤其近四天的情况。
我们在推特上公布以后,该实验得到了广泛关注。
因此在接下来的一段时间里,我们持续关注谷歌,看看他是否会改正索引、改变规范化和排名。48小时以后,我们注意到谷歌官方的搜索引擎优化指南开始出现在排名里,先前没有检索结果现在就能检索到了(同时出现在site:命令查询结果中)。
之后我们还发现谷歌给PDF原始的URL增加了一个HTTP canonical,以此帮助其被正确收录。
但是,我们的内容仍然在info:查询结果中出现,并且还有排名。这也就是说两个指南都在搜索结果中,并且我们的网址排名还在谷歌之上。
我们希望这件事情有所改变---谷歌官方作为权威排名而我们的网页退出排名。接下来五天里,我们的网页仍然和谷歌一起出现在搜索结果里,并且有着上千的访问量。之后我们的PDF就消失了,我们迅速地终止了此次试验。
反思
首先,我们没有推荐其他人乱七八糟的信息。这并不是一个可行的策略技巧来获得靠前的排名,这仅仅是一个与众不同的有趣的个案研究。我们很难就此进行总结,因为我们没办法确定是不是还有其他未知的可能影响操作的因素。
我们有不少理论和想法,在这里以三点做为总结。
1.并不(完全)与关302重定向有关
最初我们以为根本原因是302重定向,我们都知道谷歌坚信302重定向的使用没有什么问题。我们觉得文件托管方式难以脱开干系。
经过一段时间,我们发现URL另外一些怪异的现象(根据Accept-Language header提供的有价值的信息),并且在HTTPS中,规范化没有正确使用。
2.使用规范
使用canonicals规范来帮助提升收录是非常明智的。只要谷歌更新PDF的HTTP规范,将其改为一个单独的URL,就可以检索到。
使用crawler就可以爬取你的网站中缺失canonical的链接,也可以爬取 HTTP header中的canonical 的链接。
对PDF和文档来说,你可以很轻松的设置一个诸如HTTP canonical using .htaccess文件。
3.尽管发生几率不大,但是劫持还是有可能的
特定情况下,一个网页的排名会让内容完全一样的域名劫持,比如indexation出现问题,或是成为一个更专业的来源。大体来说可能性不大,但是,在原始来源排名这个问题上,谷歌还是需要做一些改进的。
--------------------------------------------
【关于译者】
高文宁,毕业于考研名校曲阜师范大学,英语专业,现为一名光荣的人民教师。
【关于互联网营销官CMO】
求关注,求收藏~
互联网营销官CMO是一个公益性组织,致力于打造国内领先的互联网营销领域人才交流讨论的平台,定位于助力互联网营销领域的人才互帮互助,共同成长为首席互联网营销官(Chief Marketing Officer)。
为未来的互联网营销官CMO们提供互联网营销行业最新最前沿的营销干货和行业资讯、涵盖互联网营销领域的SEO、SEM、PPC、网盟营销、EDM营销、红人营销、大数据营销、场景营销、O2O营销、事件营销、病毒营销、口碑营销等众多互联网营销方法和手段。