Return to site

SEO拆分测试:如何对Google进行A / B测试更改

在我们最近的SearchLove会议上,我一直在谈论我们需要做的事情,因为营销人员正在重塑搜索的大趋势。我的同事汤姆·安东尼(Tom Anthony)负责Distilled的研发团队,他谈到了5个新兴趋势:

  1. 隐含信号
  2. 复合查询
  3. 关键词与意图
  4. 网络搜索到数据搜索
  5. 个人助理

所有这些趋势都源于谷歌越来越依赖机器学习和人工智能,并且意味着排名因素更难理解,更难以预测,而且关键词的统一性也更差。它正在成为一个如此复杂的系统,在我们推出之前,我们通常无法真正了解变更将如何影响我们自己的网站。缺乏透明度和对结果缺乏信心对营销人员有两个主要影响:

  1. 它损害了我们制定业务案例以证明目标项目或计划合理性的能力(甚至只是为了影响技术积压的处理顺序)
  2. 它提出了看似好的想法具有不可预见的负面影响的丑陋可能性

您可能已经看到了有关RankBrain的最新消息,这是Google的一些机器学习技术的应用名称。在宣布之前,我提出了这个套牌,其中突出了四个旨在在这个瞬息万变的世界中取得成功的策略:

  1. 桌面与移动设备的关系很差
  2. 了解应用搜索
  3. 优化会发生什么,如果你排名
  4. 测试以确定Google希望从您的网站获得什么

这是我今天要详细讨论的最后一点 - 通过观察测试的好处,测试的结构以及评估获胜测试的一些方法。

搜索引擎优化的A / B测试的好处

今年早些时候,Pinterest工程团队撰写了一篇引人入胜的文章,介绍了他们在搜索引擎优化实验方面所做的工作,这是该技术的首次公开讨论之一,该技术已在一些大型网站上使用了一段时间。

在其中,他们强调了两个主要好处:

1.证明进一步投资有前途的领域

他们的一个实验涉及针脚页面上丰富的内容:

对于许多Pins,我们从包含相同图像的其他Pins中选择了更好的描述,并且除了现有描述之外还显示了它。实验结果比我们预期的要好得多......这促使我们使用先进技术(如视觉分析)在文本描述上投入更多。
- Pinterest工程博客

其他实验未能显示回报,因此他们能够比以往更加积极地集中注意力。在关注描述的情况下,此活动最终导致这些页面几乎提升了30%。

2.避免灾难性的决定

对于非SEO相关的UX原因,Pinterest团队真的希望能够在JavaScript中呈现客户端内容。幸运的是,他们并没有盲目地推出变更,并假设他们的内容将继续被编入索引。相反,他们只对有限数量的页面进行了更改并跟踪了效果。当他们看到显着且持续的下降时,他们关闭了实验并取消了在整个网站上推出此类更改的计划。

在这种情况下,虽然对测试组中页面的性能进行了一些持续的损坏,但与将更改一次性推广到整个站点时可能造成的损害相比,它变得苍白无力。

SEO的A / B测试如何运作?

与转换率优化(CRO)中许多人熟悉的常规A / B测试不同,我们无法创建两个版本的页面,并将访问者分成两组,每组都接收一个版本。只有一个googlebot,它不喜欢看到近似重复(特别是在规模)。创建一个页面的两个版本并简单地看哪个版本排名更好是个坏主意; 即使忽略了重复内容的问题,测试也会因页面的年龄,当前的性能以及它在内部链接结构中的出现而变得混乱。

我们提出的测试类型不是创建用户组,而是通过创建页面组来实现。这是安全的 - 因为每个页面只有一个版本,并且该版本向常规用户和googlebot显示 - 并且有效,因为它隔离了正在进行的更改。

通常,该过程应如下所示:

  • 确定要改进的页面集
  • 选择要在这些页面上运行的测试
  • 随机将页面分组到控件和变体组中
  • 如果变量组优于其预测而控制组没有,则测量结果变化并声明测试成功

所有A / B测试都需要一定数量的花哨统计数据来了解变化是否产生影响,以及可能的变化幅度。在SEO A / B测试的情况下,由于我们的两组页面甚至在统计上不相同,因此存在额外的复杂性。我们不是简单地直接比较两个页面的性能,而是需要预测两个集合的性能,并确定当控制组与其预测匹配时实验是成功的,并且变体组击败它以统计上显着的数量预测。

这不仅可以应对页面组之间的差异,还可以防止网站范围内的影响,例如:

  1. Google算法更新
  2. 季节性或尖峰
  3. 对网站的无关更改

(因为没有这些东西预计将影响只有在变异群组)。

所有这些背后的统计数据和基础数学都非常繁琐,但如果您有兴趣了解更多信息,可以查看:

  1. 我的SearchLove演示文稿的部分简要介绍了这一点
  2. 用贝叶斯结构时间序列预测现在 [PDF]
  3. 使用贝叶斯结构时间序列推断因果影响 [PDF]
  4. CausalImpact R包
  5. 查找标题标签更改的ROI
  6. 我的同事Ben Estes也写过关于R和分析预测的文章
衡量测试成功与否的良好指标

我们通常建议有机搜索流量是这类测试的最佳成功指标 - 通常伴随着排名的改进,因为有时可以更快地检测到这些。

人们很容易认为排名本身就是这样一个测试成功的最佳指标,因为重点在于弄清楚谷歌更喜欢什么。至少,我们认为这些必须与流量数据相结合,因为:

  1. 在(未提供)世界中很难识别要跟踪的关键字的长尾
  2. 一些变化可以提高点击率而不会提高排名位置 - 我们当然希望防范相反的情况

您可以设置一个测试来衡量页面组之间总转换次数的改进,但这在许多网站上实际上可能会收敛太慢。我们通常采取务实的观点,只要页面仍然专注于同一主题,那么增长搜索流量就是一个有效的目标。特别值得注意的是,与CRO测试(假设流量不受测试影响)不同,转换率是SEO测试的一个非常糟糕的指标,因为您可能已经获得的访问者最多合格的,流量加倍会增加(但不会加倍)转换总数(即转换率会降低,即使这是一个合理的行动)。

测试需要多长时间?

搜索引擎优化测试的一个优点是,谷歌比决定CRO测试结果的人类访问者集合更“理性”和一致。这意味着(除非发生针对您正在测试的事物的算法更新),您应该能够快速确定测试结果是否发生了任何戏剧性事件。

在决定运行测试的时间时,首先需要确定一种方法。如果您只想验证测试是否具有积极影响,那么由于Google的合理性和一致性,您可以采用相当务实的方法来评估是否有提升 - 通过寻找变体页面排名的任何增加部署后的任何一点上的控制组 - 并快速更改滚动。

但是,如果您更谨慎或者想要衡量影响的规模,那么您可以优先考虑未来的测试类型,那么您需要更多地担心统计意义。您可以多快地看到更改的效果是测试中页面数量,这些页面的流量以及您所做更改的影响程度的一个因素。所有测试都会有所不同。

小型站点将发现难以获得具有较小隆起的测试的统计显着性 - 但即使在那里,也可能在几周内检测到5-10%(对于那组页面,记住)的提升。对于具有更多页面和更多流量的大型站点,应该可以检测到较小的提升。

这是合法的做法吗?

如上所述,实验设置专门设计用于避免任何隐藏的问题,因为网站的每个访问者在每个页面上获得完全相同的体验 - 无论该页面是否是测试组的一部分。这包括googlebot。

由于我们通过此测试形式发现的改进意图是新的和改进的常规网站页面的基础,因此也没有创建门口/网关页面的风险。这些应该是您网站上已存在的合法网页的更好版本。

显然有可能设计糟糕的实验并做一些事情,比如将关键字填充到变体页面或隐藏内容。这对于A / B测试来说是不可取的,因为它通常适用于您的站点。不要这样做!

但总的来说,虽然几年前我可能一直担心获胜的测试会偏向于某种形式的操纵,但我认为这种情况的可能性越来越小(对于背景,请参阅Wil Reynolds 2012年初的优秀帖子)题为谷歌如何让骗子从SEO中的好人中脱颖而出。特别是,我相信,合理设计的测试现在将有效地使用Google作为神谕来发现页面的哪些变体最匹配并满足用户意图,以及哪些页面最有效地向新访问者发出信号。这些是谷歌正在寻求排名的网页,以及我们是否满意的算法旨在取悦人们或直接取悦人们并不太重要 - 我们将收敛于正确的结果。

有什么缺点?

所以,这一切听起来都很棒。为什么不是每个人都这样做?

嗯,事实是,这很难。大多数内容管理系统(CMS)不仅无法提供对任意页面组进行更改的能力,而且收集和分析数据也难以得出正确的结论。即使在大型网站上也存在理论上的局限性 - 特别是在理解和分析内部链接结构等变化的影响时,这些变化会以不可预测的方式在网站中级联。

但是,我们知道一些大型网站,拥有大量的流量,以及巨大的开发资源,他们走上了这条道路并从中获得了丰厚的回报。

虽然总会有网站大小和流量水平,低于这些水平,进行合理的测试是不经济或不切实际的,但我们希望能够将这些测试提供给比目前更广泛的受众。为实现这一目标,我们一直致力于自己的平台设计,既可以轻松运行测试,也可以收集和分析输出(也可以轻松推出难以碰撞的快速更改)无论出于何种原因,积压你的积压工作)。

蒸馏的优化交付网络(ODN)

 

您可以在Distilled博客上阅读我的发布公告中有关该工具的更多信息。

正如我在那里所说:

我们称这种类型的平台为优化交付网络或ODN。它的工作原理如下:

  1. 它位于您的Web堆栈中,如内容交付网络(CDN)(如果您使用的话,则位于CDN后面)。
  2. 它允许您对网站上任何页面或页面组的HTML(和HTTP标题)进行任意更改 - 在CMS的输出上运行有点像CMS,并且无需长时间等待开发积压。
  3. 此外,它还可以对页面子集进行某些更改,以便测试哪些内容最有效。
All Posts
×

Almost done…

We just sent you an email. Please click the link in the email to confirm your subscription!

OK