回到主页

数字营销测试的证据层次

在我从事数字营销工作的两年多时间里,我一直热衷于理解为什么我们在数字营销中做出决策。解决问题的方法有很多种,虽然其中很多都有价值,但必须有最好的方法来确保你做出的决定是正确的。我想采取我的证据优先思维方式并将其应用于这一领域。

在以前的生活中,我从事临床科学工作,特别是在医学物理领域。作为其中的一部分,我参与了计划和进行临床试验,并且遇到了“证据层次”的概念。在临床研究中,这指的是可用于支持声明的不同证据标准 - 是一种新药,一种技术,手术技术或声称具有有益效果的任何其他干预 - 以及它们是如何按实力排名。这个层次结构有许多不同的表述,但这里可以看到一个简单的版本:

根据这种排序,系统评价是最好的证据类型。这包括查看临床试验中提供的所有证据,并否定采摘樱桃的效果 - 仅使用支持您声明的数据的做法,并忽略消极或中性结果。通过系统评价,我们可以确定所有可用的证据都有代表。随机对照试验是一种从您的测试中去除任何外来因素的方法,并确保您测量的效果仅仅是由于您正在进行的干预。

这与案例控制报告相反,后者涉及查看两个人群(例如服用一种药物与另一种药物的人)的历史数据并查看其结果。当它无法进行适当的试验时,它有其用途,但很容易将相关性误认为是因果关系。例如,接受某种治疗的患者可能会生活在更富裕的地区,因此有数百种其他因素导致他们有更好的结果(更好的教育,营养,更少的其他健康问题等)。

所有这些类型的测试都应被视为比任何人的意见更具权威性,无论他们是多么有经验或有资格。通常不会在不经过长时间重新检查的情况下继续执行不良做法和想法,而我们唯一可以确定有效的方法就是测试它。我相信在我的新领域也是如此。

数字营销的证据层次
在Distilled工作期间,我一直在考虑如何将我的以证据为中心的思维方式应用到我在数字营销中的新角色。我想出了一个可以应用于所有领域的数字营销证据等级的想法。我的版本看起来像这样:

在我开始之前需要注意几点:这个金字塔并不全面 - 每个级别之间都有无数的灰色阴影,有时候我放在底部附近的东西比顶部的东西更能解决你的问题。

我将从最底层开始,从最差到最好的证据标准。

预感
显然,你可以用来作出任何决定的最薄弱的证据形式根本就没有证据。这就是预感 - 这种感觉可能会或可能不会基于过去的经验,或者只是'感觉正确'。但在我看来,作为一个冷酷的科学家,证据几乎总是胜过感情。特别是在做出正确的决定时。

话虽如此,即使有更好的证据,任何人都可能陷入信任预感的陷阱。

最佳实践
对于任何给定的数字营销干预,很容易找到关于“最佳实践”的精彩建议。很多都是很棒的建议(例如DistilledU),但这并不意味着它已经足够了。无论最佳实践建议有多好,它都不会与针对您的具体情况和应用量身定制的证据进行比较。最佳实践适用于所有事物,但无所不能。

如果您没有时间或资源自己进行全面测试,那么最佳实践是一个很好的选择,并且在决定推动测试的方向时它起着非常重要的作用。

传闻
各行各业的一个常见错误就是认为只是因为事情曾经发生过一次,它才会一直有效。这通常不正确 - 最重要的是数据,而不是轶事。特别重要的是不要假设曾经工作过一次的方法在这个领域会再次发挥作用,因为我们知道事情总是在变化,而且每个案例都是截然不同的。

与上面的最佳实践建议示例一样,轶事证据在通知您将来进行的实验时非常有用,但不应单独依赖。

不受控制/严格控制的测试
你已经决定要做什么干预,你已经制定了它并且你已经测量了结果。这听起来就像你应该做的那样,不是吗?但是你忘记了一件关键的事情 - 控制!您需要对比某些内容,以确保您在介入后看到的更改不是由于随机机会造成的,或者您控制范围之外的其他一些未经考虑的更改。这是你需要记住相关性不是因果关系的地方!

几乎和不控制一样糟糕的是严重地设计你的实验,这样你的控制就毫无意义了。例如,体育用品电子商务网站可以对其网站上的一半页面进行更改,并衡量对交易的影响。如果在板球赛季开始之前对“板球”类别进行了更改,并将其与“足球”类别进行比较,您可能会看到“板球”的销售增长与您所做的更改无关。这就是为什么在可能的情况下,应该随机选择更改的页面,以最大限度地减少偏差的影响。

随机对照试验(A / B试验)
几乎任何可能的领域的黄金标准是随机对照试验(RCT)。这在医学上是正确的,在数字营销中也是如此,它们通常被称为A / B测试。这并不意味着RCT没有缺陷,重要的是设置你的试验权,否定任何可能蔓延的偏见。理解这里涉及的统计数据也是至关重要的。我的同事汤姆最近写过这篇文章,如果你对技术细节感兴趣,我强烈建议你阅读他的博客文章。

A / B测试已经在CRO,付费媒体和电子邮件营销中广泛使用了很长时间,但它几乎可以在您能想到的任何领域中具有极大的价值。在过去的几年里,我们通过我们的DistilledODN工具将这一点付诸实践。走路和散步测试谈论谈话,并且能够肯定地证明我们推荐的是为客户做正确的事情,这是非常有益的。

注册以了解有关我们新的ODN平台的更多信息,了解SEO的科学方法。

Email address...
测试的现实
即使已经完美设置的分割测试,仍然可能出错。测试只能显示您正在测试的内容的结果:如果您没有提出良好的测试干预,您将看不到令人难以置信的结果。此外,重要的是不要过多地阅读您的结果。一旦你发现了一些在你的测试中表现出色的东西,不要认为它会永远有用,因为事情很快就会发生变化。唯一的解决方案是尽可能经常地进行测试。

如果您想更多地了解临床研究中的证据标准及其重要性,我强烈推荐Ben Goldacre 撰写的Bad Science一书。如果您有任何需要添加的东西,请在线下方称重!

所有文章
×

还剩一步!

确认邮件已发至你的邮箱。 请点击邮件中的确认链接,完成订阅。

好的