Return to site

不要被数据所迷惑:4数据分析陷阱以及如何避免这些陷阱

· seo优化

数字营销是一个自豪的数据驱动领域。然而,特别是作为SEO,我们经常会有这样的不完整或有问题的数据,在我们试图证实我们的论点或量化我们的问题和机会时,我们最终会得出错误的结论。

在这篇文章中,我将概述我们行业中流行的4个数据分析陷阱,以及如何避免这些陷阱。

1.跳到结论
今年早些时候,我进行了围绕品牌知名度的排名因素研究,我发布了这个警告:

“...... Domain Authority(或品牌搜索量或其他任何内容)与排名正相关的事实可能表明以下任何或所有可能:
链接导致网站排名很好
排名很好会导致网站获得链接
第三个因素(例如网站的声誉或年龄)会导致网站获得链接和排名“
〜我

但是,我想更深入地讨论这个问题并给你一个自己分析这个问题的框架,因为它仍然会出现很多。以Stone Temple最近的研究为例,你可能已经在Moz Top 10或Rand的推文中看到过,或者这篇优秀的文章讨论了SEMRush最近的直接流量调查结果。为了绝对清楚,我不批评任何一项研究,但我确实想提请注意我们如何解释它们。

首先,我们确实倾向于遭受一点确认性偏见 - 当我们看到关键字填充成功的网站时,我们都急于说出陈词滥调“相关性与因果关系”的区别,但是当我们看到研究正在进行时,我们都非常赞同与我们认为或有效的东西一样,如链接。

其次,我们没有批判性地分析潜在的机制。选项不仅仅是因果关系或巧合。

在根据相关性得出结论之前,您必须考虑各种可能性:

完全巧合
反向因果关系
联合因果关系
线性
广泛的适用性
如果那些没有任何意义,那那就足够了 - 他们是行话。我们来看一个例子:

在我警告你不要吃奶酪因为你可能会死在你的床单之前,我不得不检查它是不是以下任何一种:

完全巧合 -是否有可能将这么多数据集进行比较,有些数据集必然相似?为什么,这正是Tyler Vigen所做的!是的,这是可能的。
反向因果关系 -我们有可能错误地解决这个问题吗?例如,也许你的亲戚在为你的床单相关死亡而哀悼时,大量吃奶酪来安慰自己?这似乎不太可能,所以让我们给它一个通行证。不,这是不太可能的。
联合因果关系 -是否有可能第二个因素落后于这两个因素?也许增加富裕会使你更健康(所以你不会因为营养不良而死),还会让你吃更多的奶酪?这似乎很合理。是的,这是可能的。
线性 -我们比较两个线性趋势吗?线性趋势是稳定的增长或下降速度。随时间推移大致呈线性关系的任何两个统计数据都将非常相关。在上图中,我们的统计数据呈线性上升趋势。如果用不同的尺度绘制图形,它们可能看起来完全不相关,就像这样,但由于它们都具有稳定的速率,它们仍然是非常好的相关性。是的,这很可能。
广泛的适用性 -这种关系是否可能仅存在于某些利基场景中,或者至少不存在于我的利基场景中?也许,例如,奶酪对某些人这样做了,这足以创造这种相关性,因为除此之外,床单缠绕的死亡人数如此之少?是的,这似乎是可能的。
所以我们有4个“ 是 ”的答案和5个检查中的一个“ 否 ”答案。

如果你的例子没有从这5个检查得到5个“ 否 ”的答案,那就是失败,而你并不是说该研究已经确定了排名因素或奶酪消费的致命副作用。

类似的过程应该适用于案例研究,案例研究是另一种形式的相关性 - 你做出改变之间的关联,以及好事(或坏事!)的发生。例如,问:

我是否排除了其他因素(例如外部需求,季节性因素,竞争对手犯错误)?
我是否通过做我试图做的事情来增加流量,或者我是否意外地同时改善了其他因素?
由于特定客户/项目的独特情况,这是否有效?
这对于SEO来说尤其具有挑战性,因为我们很少有这种质量的数据,但我建议另外一对问题来帮助您浏览这个雷区:

如果我是谷歌,我会这样做吗?
如果我是谷歌,我可以这样做吗?
直接流量作为排名因素通过“可能”测试,但只是勉强 - 谷歌可以使用来自Chrome,Android或ISP的数据,但它是粗略的。但它并没有真正通过“测试”测试 - 谷歌使用品牌搜索流量要容易得多,这可以回答你可能通过比较直接流量水平来回答的相同问题(例如,这有多受欢迎)网站?)。

2.缺少背景
如果我告诉你我今天的流量每周增加20%,你会说什么?恭喜?

如果去年这个时候涨了20%怎么办?

如果我告诉你它直到最近一直上涨了20%怎么办?

一个小环境可以完全改变这一点,这很有趣。这是案例研究和他们邪恶的倒孪生,交通流量分析的另一个问题。

如果我们真的想要了解是否对某些事情感到惊讶,无论是积极的还是消极的,我们都需要将它与我们的期望进行比较,然后找出与我们的期望偏差是“正常的”。如果这开始听起来像统计,那就是因为它是统计数据 - 事实上,我写了一篇关于在2015年衡量变革的统计方法。

但是,如果你想变得懒惰,一个好的经验法则是缩小,并添加前几年。如果有人向您显示可疑放大的数据,您可能想要一点点盐。

3.相信我们的工具
您会根据竞争对手可以随意操作的数字做出价值数百万美元的商业决策吗?好吧,你可能会这样做,而且这个数字可以在谷歌分析中找到。我已经在其他地方广泛报道了这一点,但是大多数分析平台存在一些主要问题:

他们在外部操纵是多么容易
他们如何随心所欲地组成会议
他们对广告拦截者有多么脆弱
他们如何在抽样下表现,以及他们如何做到这一点
例如,您是否知道Google AnalyticsAPI v3可以大量采样数据,同时告诉您数据是非抽样的,超过一定数量的流量(日期范围内约为500,000)?我也没有,直到我们在建造Distilled ODN时遇到它。

许多“搜索分析”工具也存在类似的问题。我的同事Sam Nemzer写了很多关于此事的内容 - 您是否知道大多数排名跟踪平台报告完全不同的排名?或者,由Google分组的关键字(以及像SEMRush和STAT这样的工具)也不相同,并且不一定要引用卷?

重要的是要了解我们使用的工具的优点和缺点,这样我们至少可以知道它们在方向上的准确性(即,他们的见解引导您朝着正确的方向),即使不完全准确。我在这里真正推荐的是,在SEO(或任何其他数字渠道)中熟练掌握必然意味着理解测量平台背后的机制 - 这就是为什么Distilled的所有新开始最终都会学习如何进行分析审计。

根本问题最常见的解决方案之一是组合多个数据源,但......

4.组合数据源
有许多平台将通过汇集来自以下两个或更多的数据来“击败(未提供)”:

Analytics(分析)
搜索控制台
AdWords的
排名跟踪
这里的问题是,首先,这些平台没有相同的定义,其次,具有讽刺意味的是,(未提供)往往会破坏它们。

让我们首先处理定义,举个例子 - 让我们看一下带有频道的登陆页面:

在Search Console中,这些报告为点击次数,并且在组合多个维度(例如关键字和网页)或过滤器时,可能容易受到严重的不可见采样的影响。
在Google Analytics中,这些是使用上次非直接点击进行报告的,这意味着您的自然流量包括一系列直接会话,会话中途恢复的超时等等。这不会导致黑暗流量,广告拦截等。
在AdWords中,大多数报表都使用上次AdWords点击,转化次数可能会有所不同。此外,如上所述,捆绑了关键字卷。
排名跟踪是特定于位置的,并且不一致,如上所述。
但是很好 - 它可能不准确,但鉴于这些限制,你至少可以获得一些定向有用的数据。但是,关于“(未提供)”......

您的大多数着陆页都会从多个关键字获得流量。这些关键字中的一些很可能比其他关键字转换得更好,特别是如果它们被标记,这意味着即使是最彻底的点击率模型也无法帮助您。那你怎么知道哪些关键词有价值?

最佳答案是从这些关键字的AdWords数据中进行推广,但您不太可能拥有所有关键字和着陆页组合的分析数据。从本质上讲,报告此工具的工具做出了非常大胆的假设,即给定页面对所有关键字进行相同的转换。有些人比其他人更透明。

同样,这并不是说这些工具没有价值 - 只需要仔细理解它们。您可以可靠地填写由“未提供”创建的这些空白的唯一方法是花费大量资金进行付费搜索,以获得所有关键字的合理数量,转化率和跳出率估算值,即便如此,您还没有修复了不一致的定义问题。

奖金:平均排名
我仍然经常看到这种方式。三个问题:

您是否更关心丢失10个超低容量查询(每月10次或更少)的排名而不是一次高容量查询(数百万加)?如果答案不是“是的,我绝对更关心十个低容量查询”,那么这个指标不适合您,您应该考虑基于点击率估算的可见性指标。
如果你开始为100之前的排名开始排名,那么这会让你不高兴吗?如果答案不是“是的,我讨厌新关键字的排名”,那么这个指标不适合你 - 因为这会降低你的平均排名。您当然可以将所有非排名关键字视为位置100,正如某些工具所允许的那样,但是平均排名位置的下降真的是表达1/50的目标网页已被解除索引的最佳方式吗?请再次使用可见性指标。
您喜欢将您的表现与竞争对手进行比较吗?如果答案不是“不,当然不是”,则该指标不适合您 - 您的竞争对手可能拥有更多或更少的品牌关键字或长尾排名,这些都会使比较产生偏差。同样,使用可见性指标。
结论
希望你发现这很有用。总结一下主要内容:

批判分析相关性和案例研究,看看你是否可以将它们解释为巧合,反向因果关系,联合因果关系,通过引用第三个相互关联的因素,或通过利基适用性。
如果不查看上下文,请不要查看流量变化 - 您在此期间会预测到什么,以及误差率是多少?
请记住,我们使用的工具有局限性,并研究它们如何影响它们显示的数字。“ 这个数字是如何产生的?”是“这个数字是什么意思?”的重要组成部分。
如果您最终合并来自多个工具的数据,请记住计算它们之间的关系 - 将此信息视为方向性而非精确性。

All Posts
×

Almost done…

We just sent you an email. Please click the link in the email to confirm your subscription!

OK