回到主页

seo怎么优化-机器人放牧和蜘蛛争吵的终极指南

seo怎么优化

这是由三部分组成的系列的第1部分。

我们通常会考虑与人类相关的搜索引擎优化:我的客户使用了哪些查询?

如何让更多博主链接到我?

如何让人们在我的网站上停留更长时间?

如何为客户的生活和业务增加更多价值?

这应该是这样的。

但即使我们生活在一个越来越受非人类行为者影响的世界,如机器,人工智能(AI)和算法,我们常常忘记优化网站的很大一部分与人们完全无关。

事实上,我们需要取悦的许多网站访问者实际上都是机器人,我们无视他们的危险!

无论如何,什么是机器人?

机器人(也称为蜘蛛或爬虫)只是谷歌(或其他公司)用来搜索网络并收集信息或执行自动化任务的软件。

术语“机器人”或“蜘蛛”略有误导,因为它表明某种程度的智力。实际上,这些爬虫并没有真正做太多的分析。机器人无法确定您的内容的质量; 那不是他们的工作。他们只需跟踪网络上的链接,同时吸收内容和代码,然后将其提供给其他算法进行索引。

然后,这些算法获取爬虫收集的信息并将其存储在称为索引的大型分布式数据库中。当您在搜索引擎中键入关键字时,您正在搜索此数据库。

其他算法应用各种规则来评估数据库中的内容,并决定在特定搜索项的关键词优化排名中应放置通用资源定位符(URL)的位置。分析包括页面上高度相关的关键字出现的位置,反向链接的数量和质量以及整体内容质量。

到目前为止,您可能已经掌握了为什么优化机器人非常重要的要点。

虽然抓取工具不会决定您的网站是否会出现在搜索结果中,但如果它无法收集所需的所有信息,那么您的排名机会相当渺茫!

那么,你如何与所有这些爬虫争吵并引导他们到达他们需要的位置?你怎么给他们正是他们想要的东西?

首先要做的事:了解抓取预算

如果您想为机器人优化您的网站,首先需要了解它们的运作方式。这就是你的“爬行预算”的来源。

抓取预算是一个术语搜索引擎优化专家(SEO),用于描述搜索引擎分配以抓取给定网站的资源。从本质上讲,搜索引擎认为您的网站seo越重要,它为抓取网站分配的资源就越多,抓取预算就越高。

虽然许多评论员试图提出一种计算爬行预算的精确方法,但实际上没有办法在其上加上具体的数字。

在该术语开始流行之后,Google对于抓取预算对Googlebot的意义进行了解释。他们强调构成抓取预算的两个主要因素:

抓取速度限制: Googlebot可以在不降低用户体验的情况下抓取网站的速率(由服务器容量等决定)。
抓取需求:基于特定网址的受欢迎程度,以及该网址上的内容在Google索引中的“陈旧”程度。URL越流行,需求越高,更新得越多,Google就越需要抓取它。
换句话说,您的抓取预算会受到多种因素的影响,包括您获得的流量,搜索引擎可以轻松抓取您的网站,页面速度,页面大小(带宽使用),更新频率您的网站,有意义的网址与无意义网址的比例等。

要了解Googlebot抓取您网站的频率,只需转到Google Search Console的“抓取:抓取统计信息”部分即可。这些图表/图表是免费提供给谷歌的,实际上它们很有帮助,但它们提供了一个糟糕的不完整的网站机器人活动图片。

理想情况下,您应该使用OnCrawl或Screaming Frog Log Analyzer等程序分析服务器日志文件。

请务必注意,Google Search Console(GSC) 不是 服务器日志分析器。换句话说,网站管理员无法将服务器日志上传到GSC以分析 所有 机器人访问,包括Bingbot。

在优化抓取预算时,需要考虑以下几个主要事项:

  • 网站更新的频率。如果您运营的博客每月更新一次,请不要指望Google高度重视抓取您的网站。另一方面,具有高频率更新的高调URL(例如,像HuffPost的主页)可能每隔几分钟被抓取一次。如果您希望Googlebot更频繁地抓取您的网站,请更频繁地提供内容。
  • 主机负载。虽然Google希望定期抓取您的网站,但它也不希望破坏用户的浏览体验。高频率的爬网可能会给您的服务器带来沉重的负担。通常,容量有限的站点(例如共享主机上的站点)或异常大的页面权重的爬网次数较少。
  • 页面速度。缓慢的加载时间会影响您的排名并驱走用户。它还可以阻止需要快速收集信息的爬虫。缓慢的页面加载时间可能导致僵尸程序快速达到其爬行速率限制并转移到其他站点。
  • 抓取错误。服务器超时,500服务器错误和其他服务器可用性问题等问题可能会降低磁盘机的速度,甚至可能阻止它们完全爬网。为了检查错误,您应该使用多种工具,例如Google Search Console,Deep Crawl或Screaming Frog SEO Spider(不要与Screaming Frog Log Analyzer混淆)。交叉引用报告,并且不依赖于一个工具,因为您可能会错过重要的错误。
所有文章
×

还剩一步!

确认邮件已发至你的邮箱。 请点击邮件中的确认链接,完成订阅。

好的