Return to site

为什么所有SEO都应该解锁JavaScript和CSS ......以及为什么Google关注

如果您是网站管理员,您可能会收到其中一个臭名昭着的“Googlebot无法访问example.com上的CSS和JS文件”警告信,谷歌发送给看似每个SEO和网站管理员。这是来自谷歌的一个全新警报,尽管我们已经从搜索引擎那里听说需要确保所有资源都畅通无阻 - 包括JavaScript和CSS。

谷歌搜索控制台中的一些报告支持这些信件之间存在明显的混淆。以下是您需要了解的有关Google希望看到这些资源畅通无阻的信息,以及如何轻松解锁这些资源以利用相关的排名提升。

为什么Google会关心?

关于警告电子邮件的最大抱怨之一在于,许多人认为谷歌没有理由看到这些文件。这尤其正确,因为它标记了传统上网站管理员阻止的文件 - 例如WordPress管理区域和Wordpress插件文件夹中的文件。

以下是许多人从Google收到的问题。它肯定提出了很多问题和担忧:

当然,每当谷歌做任何可能使排名贬值的事情时,搜索引擎优化行业都会变得惊慌失措。警告中令人困惑的信息对情况没有帮助。

为何Google需要它

由于几个关键原因,Google需要呈现这些文件。最明显和众所周知的是适合移动设备的算法。Google需要能够完整呈现页面,包括JavaScript和CSS,以确保页面适合移动设备,并在搜索结果中同时应用适合移动设备的标记以及移动搜索结果的相关排名提升。取消阻止这些资源是Google公开向网站管理员推荐的内容之一,以便为这些网页提供适合移动设备的功能。

但是,算法的其他部分也依赖于使用它。页面布局算法是查看与广告相关的内容放置在页面上的位置的算法,是一个这样的示例。如果Google确定网页主要是广告上方的广告,实际内容低于折叠,则可能会使这些网页的排名贬值。但是,借助CSS的魔法,网站管理员可以轻松地将内容显示为前端和中心,而广告是首页上最明显的部分。

虽然这是一个老派的伎俩而且不是很有效,但人们仍然使用CSS和JavaScript来隐藏关键字填充和链接等内容 - 包括在被黑网站的情况下,将其隐藏在实际网站所有者之外。Googlebot抓取CSS和JavaScript可以确定它是否被垃圾邮件使用。

谷歌在搜索算法中还有数百个其他信号,很可能其中一些信号也以某种方式使用来自CSS和JavaScript的数据。随着谷歌的改变,谷歌总是有可能将其用于未来的信号。

为什么现在?

虽然很多SEO在他们收到谷歌的电子邮件时首次介绍了阻止JavaScript和CSS的危险,但Matt Cutts实际上是在三年半前在Google网站管理员帮助视频中谈论它。

然后,去年,Google 通过将其添加到其技术指南中对其网站管理员指南进行了重大更改:

不允许在您网站的robots.txt中抓取Javascript或CSS文件会直接损害我们的算法渲染和索引您的内容的效果,并可能导致排名不理想。

当时它仍然很少受到关注,特别是因为大多数人认为他们没有阻止任何事情。

然而,一个主要问题是一些流行的SEO Wordpress插件阻止了一些JavaScript和CSS。由于大多数Wordpress用户都没有意识到这种情况正在发生,因此我们惊讶地发现他们实际上阻止了资源。

在移动友好型算法发布之前的一个月,它也开始出现在谷歌搜索控制台的一个新的“阻止资源”部分。

有多少网站受到影响?

以谷歌通常的方式,他们没有提供有关有多少网站管理员收到这些阻止资源警告的具体数字。但来自谷歌的Gary Illyes确认,他们被发送给今年早些时候被发送用于移动友好警告的人中的18.7%:

 

几个月前,@ jenstar大约有18.7%用于移动问题

- Gary Illyes(@methode)2015年7月29日

查找被阻止的资源

谷歌发送给网站管理员的电子邮件提醒他们阻止CSS和JavaScript的问题令人困惑。它让许多网站管理员不确定究竟是什么被阻止以及阻止了什么,特别是因为他们收到了在其他第三方网站上托管的JavaScript和CSS的警告。

如果您收到其中一封警告信,则有关如何查找被屏蔽资源的建议是使用Google Search Console中的抓取工具。虽然这可能适用于检查主页,但对于具有多个页面的网站,这可能会很快变得乏味。幸运的是,这比Google建议的方法更简单。

这里有一个完整的演练,但是对于那些熟悉Google Search Console的人,您会在“Google索引”下找到一个名为“阻止资源”的部分,该部分会告诉您哪些JavaScript和CSS被阻止以及它们在哪些网页中找到。

您还应该确保在进行任何重大重新设计或启动新网站后检查被阻止的资源,因为Google还在积极发送这些电子邮件以提醒网站管理员注意问题并不完全清楚。

主页

对于那些在内部页面上使用专门脚本并且出于安全原因不一定要解除阻塞的人一直存在一些担忧。Google的约翰·穆勒表示,他们主要关注桌面和移动主页,以了解JavaScript和CSS被阻止的内容。

至少就目前而言,尽管从所有页面中取消阻止CSS和JavaScript肯定是最佳做法,但至少您希望将其作为主页的优先级,确保该页面上没有任何内容被阻止。之后,您可以通过其他页面进行操作,特别注意具有唯一JavaScript或CSS的页面。

Javascript和CSS的索引

许多网站为不想解锁他们的CSS和JavaScript而提供的另一个原因是因为他们不希望Google将其编入索引。但根据他们用于索引的支持文件类型的长列表,这些文件都不是Google将索引的文件类型。

所有变化

还值得记住在Google Search Console中检查已阻止资源的www和非www。这些网站管理员经常忽略这一点,只是倾向于查看他们更喜欢用于网站的版本。

此外,由于Search Console中显示的已屏蔽资源数据基于Googlebot上次抓取每个网页的时间,因此您可以在检查两者时找到其他被阻止的资源。对于可能较旧或未经常更新且未每天抓取的网站(如更受欢迎的网站),尤其如此。

同样,如果您同时拥有移动版和桌面版,则需要确保两者都不会阻止任何资源。这对于移动版本尤为重要,因为它会影响每个页面是否在移动搜索结果中获得适合移动设备的标签和排名提升。

如果您根据语言和位置提供不同的页面,您还需要检查每个页面。不要只检查“主要”版本,并假设它在整个网站上都很好。在同一网站的其他变体中发现意外并不罕见。至少,请检查主页上的每种语言和位置。

Wordpress和阻止Javascript和CSS

如果您使用基于Wordpress的网站的“SEO for Wordpress”类型插件之一,很可能是因为该插件阻止了Javascript和CSS。它曾经是某些“开箱即用”的默认设置之一,用于阻止/ wp-admin /文件夹中的所有内容。

当移动友好的算法发挥作用,因为这些管理页面没有被单独编入索引,大多数Wordpress用户都认为机器人完好无损。但是,这个新的Google警告确实需要解锁所有与Wordpress相关的JavaScript和CSS,如果您阻止JavaScript和CSS,Google会将其显示为错误。

Yoast,流行的Yoast SEO插件(以前的Wordpress SEO)的创建者,也建议在Wordpress中解锁所有JavaScript和CSS,包括/ wp-admin /文件夹。

第三方资源

其中一个讽刺是,谷歌正在标记第三方JavaScript,这意味着JavaScript托管在从每个网页调用的第三方网站上。是的,这包括Google自己的Google AdSense JavaScript。

最初,Google建议网站所有者与这些第三方网站联系,要求他们取消阻止正在使用的JavaScript,以便Googlebot可以对其进行抓取。然而,没有多少网站管理员这样做; 他们觉得这不是他们的工作,特别是当他们无法控制第三方网站阻止爬行的时候。

谷歌后来表示他们并不关心第三方资源,因为网站管理员缺乏控制权。因此,虽然它可能出现在被阻止的资源列表中,但它们确实在寻找网站所有者可以通过自己的robots.txt控制的JavaScript和CSS的URL。

John Mueller最近透露,他们计划联系一些较常被引用的第三方网站,以了解他们是否可以解锁JavaScript。虽然我们不知道他们打算联系哪些网站,但这是他们计划要做的事情; 我怀疑他们会成功地看到他们中的一些人畅通无阻。同样,虽然这不是一个网站管理员问题,但在报告中不再标记其中一些网站会很不错。

如何解锁您的JavaScript和CSS

对于大多数用户来说,只需检查robots.txt并确保您允许抓取所有JavaScript和CSS文件。对于Yoast SEO用户,您可以直接在Wordpress的管理区域中编辑您的robots.txt文件。

Google的Gary Illyes 也在 Stack Overflow上分享了一些详细的robots.txt更改。您可以将这些指令添加到robots.txt文件中,以便Googlebot能够抓取所有Javascript和CSS。

要确保您已取消阻止所有JavaScript和CSS,您可以将以下内容添加到robots.txt文件中,前提是您尚未在其中阻止任何目录:

User-Agent:Googlebot

允许:.js

允许:.css

如果你有一个更专业的robots.txt文件,你要阻止整个目录,它可能会有点复杂。

在这些情况下,您还需要为已阻止的每个目录允许.js和.ssss。

例如:

User-Agent:Googlebot

Disallow:/ deep /

允许:/deep/* .js

允许:/deep/ * .css

对robots.txt中阻止的每个目录重复此操作。

这允许Googlebot抓取这些文件,同时禁止其他抓取工具(如果您已阻止它们)。但是,您最关心的是允许抓取各种JavaScript和CSS文件的机器人不是那些尊重robots.txt文件的机器人。

您可以将User-Agent更改为*,这将允许所有抓取工具抓取它。Bing确实拥有自己的移动友好算法版本,这需要抓取JavaScript和CSS,尽管他们没有发出有关它的警告。

底线

如果您想尽可能排名,解锁JavaScript和CSS是您可以对您的网站进行的最简单的SEO更改之一。这对于那些拥有大量移动流量的用户尤为重要,因为移动排名算法确实要求它们都畅通无阻,以获得对移动设备友好的排名提升。

是的,您可以继续阻止Google僵尸程序抓取其中任何一个,但如果您这样做,您的排名将会受到影响。在一个每个位置都很重要的世界中,牺牲排名以保持这些文件的私密性是没有意义的。

All Posts
×

Almost done…

We just sent you an email. Please click the link in the email to confirm your subscription!

OK