如果您在 Google 搜索控制台中收到“已编入索引，但被 robots.txt 阻止”警告，则需要尽快修复它，因为它可能会影响您的网页在搜索引擎结果页面 (SERPS) 中的排名能力。
robots.txt 文件是位于您的网站目录中的文件，它为搜索引擎爬虫（例如 Google 机器人）提供一些指令，告诉它们应该查看和不应该查看哪些文件。
“已编入索引，但被 robots.txt 阻止”表示 Google 找到了您的网页，但也在您的 robots 文件中发现了忽略该网页的指令（这意味着该网页不会出现在搜索结果中）。
有时这是故意的，有时是无意的，原因如下所述，但可以修复。
这是通知的屏幕截图：
识别受影响的页面或 URL
如果您收到来自 Google Search Console (GSC) 的通知，则需 华人澳洲数据要识别相关的具体页面或 URL。
您可以在 Google Search Console>>覆盖范围内看到已被编入索引但被 robots.txt 问题阻止的页面。如果您没有看到警告标签，那么您就可以放心使用，没有任何问题。
测试您的 robots.txt 的一种方法是使用我们的robots.txt 测试器。您可能会发现，您并不介意被阻止的内容保持“阻止”状态。因此，您不需要采取任何行动。
您也可以点击此GSC 链接。然后你需要：
- 打开被阻止的资源列表并选择域。
- 单击每个资源。你应该会看到这个弹出窗口：
确定通知的原因
通知可能由多种原因产生。以下是一些常见原因：
但首先，如果有页面被 robots.txt 阻止，这并不是问题。它可能是有原因设计的，例如，开发人员想要阻止不必要的或重复的页面/类别。那么，这些差异是什么？
URL 格式不正确
有时，问题也可能来自于实际上不是页面的 URL。例如，如果 URL 是 litmus 将帮助您设计有效的电子邮件活动?s=digital+marketing，您需要知道该 URL 指向哪个页面。
如果该页面包含您真正希望用户看到的重要内容，那么您需要更改 URL。这在内容管理系统 (CMS) 上是可能的，比如 WordPress，您可以在其中编辑页面 slug。
如果该页面不重要，或者以我们的示例 /?s=digital+marketing 为例，它是来自我们博客的搜索查询，那么就无需修复 GSC 错误。
无论是否被索引都没有区别，因为它不是一个实际的 URL，而是一个搜索查询。或者，您可以删除该页面。
要索引的页面
有多种原因导致应该被索引的页面未被索引。以下是其中一些：
- 您检查过您的机器人指令吗？您可能在 robots.txt 文件中包含了指令，禁止对实际应被索引的页面进行索引，例如标签和类别。标签和类别是您网站上的实际 URL。
- 您是否将 Googlebot 指向重定向链？ Googlebot 将浏览他们能找到的每个链接并尽力读取以进行索引。但是，如果您设置了多个长而深的重定向，或者页面无法访问，Googlebot 将停止搜索。
- 规范链接是否已正确实施？ Canonical 标签用于 HTML 标头中，以便在出现重复内容时告诉 Googlebot 哪个页面是首选且规范的页面。每个页面都应该有一个规范标签。例如，您有一个翻译成西班牙语的页面。您将链接该西班牙语 URL 的规范，并希望该页面的规范恢复为您的默认英语版本。
如何验证 WordPress 中的 Robots.txt 是否正确？
对于 WordPress，如果您的 robots.txt 文件 沙特阿拉伯电话号码 是您网站安装的一部分，请使用 Yoast 插件对其进行编辑。如果导致问题的 robots.txt 文件位于非您的网站上，您需要与该网站的所有者沟通并要求他们编辑其 robots.txt 文件。