NOINDEX 与 robots.txt的区别

NOINDEX 标记

NOINDEX 用于防止内容出现在搜索结果中。NOINDEX 出现在内容的源代码中，它告诉搜索引擎不要将该内容包含在搜索结果中。

NOINDEX 在您的页面源代码中如下所示：

<meta name="robots" content="noindex,follow" />

 

robots.txt 文件

robots.txt 文件告诉搜索引擎他们的爬虫能在网站上访问的位置。它包括“允许”和“禁止”指令，指导搜索引擎应该或不应该抓取哪些目录和文件。

但是，它不会阻止您的内容出现在搜索结果中。

使用 robots.txt 文件的一个示例是指示搜索引擎不要抓取服务器上可能存在的“/cgi-bin/”目录，因为该目录中没有任何内容可供搜索引擎使用.

WordPress 的默认 robots.txt 如下所示：

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

 

两者的区别如下：

robots.txt 文件用于指导搜索引擎应该抓取哪些目录和文件。它不会阻止内容被索引并在搜索结果中列出。
NOINDEX 标记告诉搜索引擎不要在搜索结果中包含内容，如果内容之前已经被索引，那么他们应该完全删除内容。它不会阻止搜索引擎抓取内容。
要理解的最大区别是，如果您希望搜索引擎在搜索结果中不包含内容，那么您必须使用 NOINDEX 标记，并且必须允许搜索引擎抓取内容。如果搜索引擎无法抓取内容，则他们无法看到NOINDEX元标记，因此无法从搜索结果中排除内容。

因此，如果您希望内容不包含在搜索结果中，请使用 NOINDEX。如果您想阻止搜索引擎抓取您服务器上的目录，因为它不包含他们需要查看的任何内容，请在您的 robots.txt 文件中使用“Disallow”指令。

此文翻译自aioseo，原文链接：https://aioseo.com/docs/when-to-use-noindex-or-the-robots-txt/