网站首页

我们生活在一个越来越受到非机器人，人工智能（AI）和算法等非人类行为体影响的世界中，我们经常忘记大部分优化网站与人无关。

 

事实上，我们需要讨论的许多网站访问者实际上是机器人，我们忽视了他们的危险！

 

无论如何，什么是机器人？bot（也被称为蜘蛛或爬虫）只是Google（或其他公司）用来扫描网页并收集信息或执行自动化任务的软件。

 

术语“机器人”或“蜘蛛”有点误导，因为它暗示着某种程度的智力。实际上，这些爬虫实际上并没有做太多分析。机器人不能确定您的内容的质量; 那不是他们的工作。他们只是沿着网络链接，同时吸取内容和代码，然后将这些内容和代码传递给其他算法进行索引。

 

然后，这些算法将抓取工具收集的信息存储到称为索引的大型分布式数据库中。当您在搜索引擎中键入关键字时，您正在搜索的是该数据库。

 

其他算法应用各种规则来评估数据库中的内容，并决定应将统一资源定位符（URL）放置在特定搜索项的排名中的位置。分析包括诸如高度相关的关键字出现在页面上的情况，反向链接的数量和质量以及整体内容质量。

 

到现在为止，您可能会明白为什么优化机器人很重要。

 

虽然抓取工具并未决定您的网站是否会出现在搜索结果中，但如果它无法收集到所需的所有信息，那么您的排名机会相当渺茫！

 

那么，你如何讨论所有爬虫并将它们引导到他们需要的地方？你如何给他们准确的东西？

 

首先要做的是：了解抓取预算

如果你想优化你的网站的机器人，你首先需要了解他们如何运作。这就是您的“抓取预算”进入的地方。

 

爬网预算是一个术语搜索引擎优化专家（SEO），用于描述搜索引擎分配的用于抓取给定站点的资源。本质上，搜索引擎认为您的网站越重要，它将分配给它的资源越多，抓取预算越高。

 

尽管许多评论员试图提出一种精确计算爬行预算的方法，但实际上没有办法在其上添加具体数字。

 

在这个词变得流行之后，Google就解释了Googlebot的抓取预算意味着什么。他们强调构成爬行预算的两个主要因素：

 

抓取速度限制： Googlebot可以在不降低用户体验（由您的服务器容量等决定）的情况下抓取站点的速度。

抓取需求：基于特定网址的受欢迎程度，以及该网址的内容在Google索引中的“陈旧”情况。网址越受欢迎，需求越高，而且更新越多，Google需要越频繁地抓取它。

换句话说，您的抓取预算会受到多种因素的影响，包括您获得的流量，搜索引擎抓取您网站的难易程度，页面速度，页面大小（带宽使用），更新频率你的网站，对毫无意义的URL有意义的比例等等。

 

要了解Googlebot抓取您的网站的频率，只需转到Google Search Console的“抓取：抓取统计信息”部分即可。这些图表是从谷歌免费提供的，实际上它们很有帮助，但它们提供了一幅关于您网站上的机器人活动的可悲的不完整图片。

请记住，Google Search Console（GSC）不是  服务器日志分析器，这一点很重要  。换句话说，网站管理员无法将服务器日志上传到GSC，以分析  所有  机器人访问，包括Bingbot。

 

在优化抓取预算时需要考虑几件重要的事情：

 

网站更新的频率。如果您运行的博客每月更新一次，请不要期望Google优先考虑抓取您的网站。另一方面，更新频率较高的高端URL（例如HuffPost的主页）可能会每隔几分钟被检索一次。如果您希望Googlebot更频繁地抓取您的网站，请更频繁地提供内容。

主机负载。虽然Google希望定期抓取您的网站，但它也不希望破坏用户的浏览体验。频繁的抓取可能会给您的服务器带来沉重的负担。通常，容量有限的网站（例如共享主机上的网站）或异常大的网页权重会被抓取的频率较低。

网页速度。缓慢的加载时间可能会影响您的排名并驱散用户。它也阻碍了需要快速收集信息的爬虫。缓慢的页面加载时间可能会导致漫游器快速达到爬网速率限制并转移到其他网站。

抓取错误。诸如服务器超时，500服务器错误和其他服务器可用性问题等问题可能会降低机器人甚至阻止他们完全爬行您的网站。为了检查错误，您应该使用Google Search Console，Deep Crawl或Screaming Frog SEO Spider等工具的组合（不要与Screaming Frog Log Analyzer混淆）。交叉参考报告，不要只依赖一种工具，因为您可能会错过重要的错误。